LLM 실행에 필요한 VRAM 계산하는 법

필요한 VRAM은 세 가지를 더한 값이에요

추론에는 모델 가중치, KV 캐시, 런타임 여유가 필요해요. 가장 큰 몫인 가중치는 파라미터 수에 아래 바이트 수를 곱하면 나와요.

4비트는 이론상 0.5바이트지만, 양자화에 필요한 부가 정보와 16비트로 남는 레이어가 있어서 0.6바이트로 잡는 게 안전해요.

KV 캐시는 컨텍스트 길이에 비례해 늘어나요

모델은 앞 토큰의 Key와 Value를 저장해 두고 다음 토큰을 만들 때 다시 써요. 토큰 하나당 크기는 모델 구조로 정해져요.

토큰당 KV 캐시 = 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 바이트

Llama 3.1 8B는 레이어 32개, KV 헤드 8개, 헤드 차원 128이에요. 16비트면 토큰당 2 × 32 × 8 × 128 × 2 = 131,072바이트(약 0.13MB)라서 8K 토큰이면 약 1.1GB, 128K 토큰이면 약 17GB예요. 동시 요청이 있으면 요청 수만큼 곱해요.

런타임 여유는 1~3GB를 잡아 두세요

CUDA 컨텍스트만 수백 MB를 쓰고, 프레임워크에 따라 중간 계산 값과 메모리 풀이 더 필요해요. 큰 모델이면 가중치의 5% 정도로 잡으세요.

vLLM은 시작할 때 gpu_memory_utilization 비율(기본 약 90%)만큼 메모리를 미리 잡고 남는 공간을 KV 캐시로 써요. nvidia-smi에 90% 가까이 차 보여도 정상이에요.

파인튜닝은 학습 방식에 따라 크게 달라요

학습에는 그래디언트와 옵티마이저 상태도 메모리에 올려야 해요. Adam으로 전체 학습을 하면 혼합 정밀도에서도 파라미터 하나당 약 16바이트가 들어요.

• 전체 파인튜닝: 모든 파라미터를 학습해요. 8B 모델도 GPU 여러 장이 필요해요.
• LoRA: 기본 가중치는 16비트로 고정하고, 전체의 1%도 안 되는 작은 어댑터만 학습해요.
• QLoRA: 기본 가중치를 4비트로 불러온 뒤 LoRA 어댑터를 학습해요. 메모리가 가장 적게 들어요.

VRAM별로 올릴 수 있는 모델 크기

VRAM을 한계까지 채우면 조금 더 큰 모델도 올라가요. Shelf에서는 지금 20GB(GA102)와 24GB(RTX 3090)를 쓸 수 있고, 8GB, 16GB, 32GB, 80GB GPU는 준비 중이에요. 모델과 컨텍스트 길이를 직접 넣어 보려면 LLM VRAM 계산기를 쓰세요.

메모리가 모자랄 때 줄이는 순서

1. 양자화 정밀도를 낮춰요

   16비트를 8비트나 4비트로 바꾸면 가중치 메모리가 절반에서 3분의 1 수준으로 줄어요.

2. 컨텍스트 길이와 동시 요청 수를 줄여요

   KV 캐시가 바로 줄어요. vLLM은 --max-model-len, Ollama는 num_ctx로 최대 컨텍스트를 정해요.

3. KV 캐시를 8비트로 저장해요

   vLLM은 --kv-cache-dtype fp8로 켜요. 컨텍스트가 길수록 효과가 커요.

4. 학습이라면 배치를 줄이고 체크포인팅을 켜요

   줄인 배치는 그래디언트 누적으로 보완하고, 그래디언트 체크포인팅으로 활성화 메모리를 줄여요.

5. 그래도 부족하면 더 큰 GPU로 옮겨요

   설정을 계속 줄이면 품질이나 속도가 먼저 떨어져요. 데이터를 볼륨에 두면 더 큰 GPU 서버에 연결해 이어서 작업할 수 있어요.

이미 오류가 났다면 CUDA out of memory 오류 해결하기를 보세요.