GPU · Ampere
GA102 20GB GPU 서버
RTX 3080 계열과 같은 GA102 칩에 20GB 메모리를 단 구성이에요. 7B급 모델 개발, QLoRA 실험, 이미지 생성처럼 24GB까지는 필요 없는 작업에 맞아요.
사양
- 아키텍처
- Ampere
- GPU 칩
- GA102 (RTX 3080 계열)
- VRAM
- 20 GB GDDR6X
- Compute Capability
- 8.6
- BF16
- 지원
- FP8 텐서 코어
- 미지원
- 클라우드 게이밍
- 게이밍 저지연 지원
- 시간당 요금
- 190원 / 시간
20GB VRAM으로 다룰 수 있는 모델
컨텍스트 4K, 배치 1 기준으로 VRAM의 85% 안에 들어오는 LLM 크기를 추정했어요. 한계까지 채우면 조금 더 큰 모델도 올라갈 수 있지만, 컨텍스트를 늘릴 여유가 줄어요.
| 작업 | 모델 크기 (추정) |
|---|---|
| 16비트 추론 | 약 7B |
| 8비트 추론 | 약 10B |
| 4비트 추론 | 약 20B |
| QLoRA 파인튜닝 | 약 20B |
| LoRA 파인튜닝 (16비트) | 약 6B |
- 16비트로 여유 있는 모델
- Mistral 7B
- 4비트로 여유 있는 모델
- Llama 3.1 8B, Qwen3 8B, EXAONE 3.5 7.8B, Mistral 7B, Gemma 2 9B, Qwen3 14B
다른 컨텍스트 길이나 파인튜닝 설정은 LLM VRAM 계산기에서 확인하세요.
잘 맞는 작업과 고려할 점
잘 맞아요
- Ampere 세대라서 BF16, FlashAttention 2 등 최신 학습 환경을 그대로 쓸 수 있어요.
- 7~8B 모델의 4비트·8비트 추론과 QLoRA 파인튜닝에 충분해요.
- 하드웨어 인코더가 있어서 클라우드 게이밍에도 쓸 수 있어요.
고려하세요
- 8B급 모델을 16비트로 추론하면 컨텍스트 여유가 빠듯해요. 긴 컨텍스트가 필요하면 24GB 이상을 고려하세요.
- 16비트 LoRA 파인튜닝은 8B급에서 메모리가 부족할 수 있어요. QLoRA를 쓰면 여유가 생겨요.
GPU 서버가 필요할 때