GPU · Ampere
RTX 3060 Ti 8GB GPU 서버
8GB VRAM의 입문용 Ampere GPU예요. CUDA 코드를 처음 돌려 보거나, 작은 모델을 실험하거나, 클라우드 게이밍을 할 때 부담 없이 쓰기 좋아요.
제공 준비 중요금 보기
사양
- 아키텍처
- Ampere
- GPU 칩
- GA104
- VRAM
- 8 GB GDDR6
- Compute Capability
- 8.6
- BF16
- 지원
- FP8 텐서 코어
- 미지원
- 클라우드 게이밍
- 게이밍 저지연 지원
- 시간당 요금
- 준비 중
8GB VRAM으로 다룰 수 있는 모델
컨텍스트 4K, 배치 1 기준으로 VRAM의 85% 안에 들어오는 LLM 크기를 추정했어요. 한계까지 채우면 조금 더 큰 모델도 올라갈 수 있지만, 컨텍스트를 늘릴 여유가 줄어요.
| 작업 | 모델 크기 (추정) |
|---|---|
| 16비트 추론 | 약 2B |
| 8비트 추론 | 약 4B |
| 4비트 추론 | 약 8B |
| QLoRA 파인튜닝 | 약 5B |
| LoRA 파인튜닝 (16비트) | 약 1B |
- 16비트로 여유 있는 모델
- 7B급 이상은 양자화가 필요해요
- 4비트로 여유 있는 모델
- Llama 3.1 8B, EXAONE 3.5 7.8B, Mistral 7B
다른 컨텍스트 길이나 파인튜닝 설정은 LLM VRAM 계산기에서 확인하세요.
잘 맞는 작업과 고려할 점
잘 맞아요
- CUDA, PyTorch 환경을 익히고 코드를 검증하는 용도로 충분해요.
- 7~8B 모델을 4비트로 양자화하면 짧은 컨텍스트로 추론할 수 있어요.
- 하드웨어 인코더가 있어서 클라우드 게이밍에 쓸 수 있어요.
고려하세요
- 8GB라서 16비트 LLM 추론이나 LoRA 파인튜닝은 작은 모델로 제한돼요.
- SDXL처럼 큰 이미지 모델은 메모리 절약 옵션을 켜야 할 수 있어요.
GPU 서버가 필요할 때