한눈에 보는 사양

모델 크기는 컨텍스트 4K, 배치 1 기준으로 VRAM의 85% 안에 들어오는 값을 추정했어요.

GPU별 사양과 여유 있게 다룰 수 있는 모델 크기
GPU	아키텍처	VRAM	Compute Capability	BF16	FP8	16비트 추론	4비트 추론	QLoRA	상태
A100 80GB	Ampere	80 GB HBM2e	8.0	지원	미지원	약 30B	약 100B	약 100B	준비 중
AD103-32GB	Ada Lovelace	32 GB GDDR6X	8.9	지원	지원	약 10B	약 35B	약 35B	준비 중
RTX 3090 24GB	Ampere	24 GB GDDR6X	8.6	지원	미지원	약 8B	약 25B	약 25B	제공
GA102 20GB	Ampere	20 GB GDDR6X	8.6	지원	미지원	약 7B	약 20B	약 20B	제공
RTX 3060 Ti 8GB	Ampere	8 GB GDDR6	8.6	지원	미지원	약 2B	약 8B	약 5B	준비 중
V100 16GB	Volta	16 GB HBM2	7.0	미지원	미지원	약 5B	약 15B	약 15B	준비 중

모델 크기로 고르기

각 칸은 여유 있게 들어가는 가장 작은 GPU예요. 실제 사용량은 프레임워크와 설정에 따라 달라질 수 있어요.

모델 크기와 작업별로 맞는 가장 작은 GPU
모델 크기	16비트 추론	4비트 추론	QLoRA 파인튜닝
7~8B	RTX 3090 24GB	GA102 20GB	GA102 20GB
14B	A100 80GB (준비 중)	GA102 20GB	GA102 20GB
32B	여러 장 필요	AD103-32GB (준비 중)	AD103-32GB (준비 중)
70B	여러 장 필요	A100 80GB (준비 중)	A100 80GB (준비 중)

직접 모델과 컨텍스트 길이를 넣어 보려면 LLM VRAM 계산기를, 계산 방법이 궁금하다면 LLM 실행에 필요한 VRAM 계산하는 법을 확인하세요.

VRAM: GPU에 달린 메모리예요. 모델 가중치와 학습 중간값이 모두 여기에 올라가야 해서, 다룰 수 있는 모델 크기를 가장 먼저 결정해요.
아키텍처: GPU 세대예요. Volta, Ampere, Ada Lovelace 순으로 새롭고, 세대에 따라 지원하는 정밀도와 라이브러리가 달라요.
Compute Capability: CUDA가 GPU 기능을 구분하는 번호예요. PyTorch 빌드나 CUDA 버전이 이 번호를 지원해야 GPU를 쓸 수 있어요.
BF16: 학습에 많이 쓰는 16비트 형식이에요. Ampere 이후 GPU에서 지원하고, V100에서는 FP16을 대신 써야 해요.
FP8: 8비트 부동소수점 연산이에요. Ada 세대부터 텐서 코어가 지원해서 추론 메모리와 연산량을 줄일 수 있어요.

GPU 서버가 필요할 때