도구
LLM VRAM 계산기
모델과 작업을 고르면 필요한 VRAM과 한 장으로 돌릴 수 있는 GPU를 보여 줘요.
예상 VRAM
6.8 GBLlama 3.1 8B · 추론 · 4비트 · 4K 토큰
- 모델 가중치
- 4.8 GB
- KV 캐시
- 0.5 GB
- 런타임·활성화
- 1.4 GB
GPU 한 장 기준
- GA102 20GB시간당 190원여유 있음
- RTX 3090 24GB시간당 230원여유 있음
준비 중인 GPU
- RTX 3060 Ti 8GB여유 있음
- V100 16GB여유 있음
- AD103-32GB여유 있음
- A100 80GB여유 있음
이렇게 계산해요
추정값이라 실제 사용량은 프레임워크와 설정에 따라 20% 안팎으로 달라질 수 있어요. 자세한 계산은 LLM 실행에 필요한 VRAM 계산하는 법에 있어요.
- 모델 가중치
- 파라미터 10억 개당 16비트는 2GB, 8비트는 약 1GB, 4비트는 약 0.6GB
- KV 캐시
- 컨텍스트가 길수록, 동시 요청이 많을수록 늘어요
- 런타임
- CUDA와 프레임워크가 쓰는 약 1.2GB에 가중치의 5%를 더해요
- 파인튜닝
- LoRA·QLoRA는 작은 어댑터만, 전체 파인튜닝은 모든 파라미터를 학습하는 메모리로 잡아요
- 판정
- VRAM의 85% 이하면 여유 있음, 98% 이하면 빠듯함
계산한 VRAM에 맞는 GPU가 있다면