GPU · Volta
V100 16GB GPU 서버
HBM2 메모리를 쓰는 Volta 세대 데이터센터 GPU예요. FP16 텐서 코어를 가진 첫 세대라서, 검증된 CUDA 코드와 FP16 학습을 돌리기에 여전히 쓸 만해요.
제공 준비 중요금 보기
사양
- 아키텍처
- Volta
- GPU 칩
- GV100
- VRAM
- 16 GB HBM2
- Compute Capability
- 7.0
- BF16
- 미지원 (FP16 사용)
- FP8 텐서 코어
- 미지원
- 클라우드 게이밍
- 지원하지 않음
- 시간당 요금
- 준비 중
16GB VRAM으로 다룰 수 있는 모델
컨텍스트 4K, 배치 1 기준으로 VRAM의 85% 안에 들어오는 LLM 크기를 추정했어요. 한계까지 채우면 조금 더 큰 모델도 올라갈 수 있지만, 컨텍스트를 늘릴 여유가 줄어요.
| 작업 | 모델 크기 (추정) |
|---|---|
| 16비트 추론 | 약 5B |
| 8비트 추론 | 약 10B |
| 4비트 추론 | 약 15B |
| QLoRA 파인튜닝 | 약 15B |
| LoRA 파인튜닝 (16비트) | 약 4B |
- 16비트로 여유 있는 모델
- 7B급 이상은 양자화가 필요해요
- 4비트로 여유 있는 모델
- Llama 3.1 8B, Qwen3 8B, EXAONE 3.5 7.8B, Mistral 7B, Gemma 2 9B, Qwen3 14B
다른 컨텍스트 길이나 파인튜닝 설정은 LLM VRAM 계산기에서 확인하세요.
잘 맞는 작업과 고려할 점
잘 맞아요
- FP16 텐서 코어로 혼합 정밀도 학습과 추론을 할 수 있어요.
- 기존에 V100 기준으로 작성된 연구 코드와 재현 실험에 맞아요.
고려하세요
- BF16을 지원하지 않아요. BF16을 기본으로 쓰는 최신 학습 스크립트는 FP16으로 바꿔야 해요.
- FlashAttention 2처럼 Ampere 이상을 요구하는 라이브러리는 쓸 수 없어요.
- CUDA 13부터 Volta 지원이 빠졌어요. CUDA 12.x 환경을 쓰는 게 안전해요.
- 데이터센터용 GPU라서 클라우드 게이밍에는 맞지 않아요.
GPU 서버가 필요할 때