GPU · Ampere
A100 80GB GPU 서버
80GB HBM2e 메모리를 가진 데이터센터용 GPU예요. 한 장에 70B급 모델의 4비트 추론이나 QLoRA 파인튜닝을 올릴 수 있을 만큼 메모리가 넉넉해요.
제공 준비 중요금 보기
사양
- 아키텍처
- Ampere
- GPU 칩
- GA100
- VRAM
- 80 GB HBM2e
- Compute Capability
- 8.0
- BF16
- 지원
- FP8 텐서 코어
- 미지원
- 클라우드 게이밍
- 지원하지 않음
- 시간당 요금
- 준비 중
80GB VRAM으로 다룰 수 있는 모델
컨텍스트 4K, 배치 1 기준으로 VRAM의 85% 안에 들어오는 LLM 크기를 추정했어요. 한계까지 채우면 조금 더 큰 모델도 올라갈 수 있지만, 컨텍스트를 늘릴 여유가 줄어요.
| 작업 | 모델 크기 (추정) |
|---|---|
| 16비트 추론 | 약 30B |
| 8비트 추론 | 약 55B |
| 4비트 추론 | 약 100B |
| QLoRA 파인튜닝 | 약 100B |
| LoRA 파인튜닝 (16비트) | 약 30B |
- 16비트로 여유 있는 모델
- Llama 3.1 8B, Qwen3 8B, EXAONE 3.5 7.8B, Mistral 7B, Gemma 2 9B, Qwen3 14B, Gemma 2 27B
- 4비트로 여유 있는 모델
- Llama 3.1 8B, Qwen3 8B, EXAONE 3.5 7.8B, Mistral 7B, Gemma 2 9B, Qwen3 14B, Gemma 2 27B, Qwen3 32B, EXAONE 3.5 32B, Llama 3.1 70B, Qwen2.5 72B
다른 컨텍스트 길이나 파인튜닝 설정은 LLM VRAM 계산기에서 확인하세요.
잘 맞는 작업과 고려할 점
잘 맞아요
- 80GB VRAM으로 큰 모델과 긴 컨텍스트를 한 장에서 다룰 수 있어요.
- BF16과 TF32 텐서 코어 연산을 지원해서 혼합 정밀도 학습이 안정적이에요.
- FlashAttention 2처럼 Ampere 이상을 요구하는 최신 라이브러리를 그대로 쓸 수 있어요.
고려하세요
- 디스플레이 출력이 없는 데이터센터용 GPU라서 클라우드 게이밍에는 맞지 않아요.
- FP8 텐서 코어는 Hopper와 Ada부터 지원돼요. FP8 추론이 꼭 필요하면 Ada 계열을 함께 비교해 보세요.
GPU 서버가 필요할 때