GPU 서버 가이드
GPU 서버에 접속하고 환경을 확인하는 법, 자주 나는 오류를 고치는 법을 모았어요.
도구LLM VRAM 계산기모델과 작업을 고르면 필요한 VRAM과 한 장으로 돌릴 수 있는 Shelf GPU를 바로 보여 줘요.계산해 보기
시작하기
서버에 처음 접속하고 GPU 환경을 확인하는 방법이에요.
- SSH 키로 GPU 서버에 접속하는 법ssh-keygen으로 키를 만들고 공개 키(.pub)만 등록해요.
- 원격 데스크톱(RDP)으로 GPU 서버에 접속하는 법RDP는 SSH 키가 아니라 서버 계정의 비밀번호로 로그인해요.
- 원격 GPU 서버에서 JupyterLab 쓰기서버에서 jupyter lab --no-browser --port 8888로 실행하고, 내 컴퓨터에서 ssh -N -L 8888:localhost:8888로 터널을 연 뒤 http://localhost:8888에 접속하면 돼요.
- nvidia-smi 사용법과 출력 보는 법nvidia-smi는 NVIDIA 드라이버와 함께 설치되는 GPU 상태 확인 도구예요.
- CUDA 버전 확인하는 법nvidia-smi의 CUDA 버전은 드라이버가 지원하는 최고 버전이고, 설치된 툴킷 버전은 nvcc --version으로 확인해요.
문제 해결
자주 만나는 오류를 원인부터 차례로 해결해요.
개념 이해
GPU를 고르기 전에 알아 두면 좋은 계산과 개념이에요.
비교와 선택
어떤 환경과 서비스가 내 작업에 맞는지 판단하는 기준이에요.
GPU 서버가 필요할 때