Hugging Face의 모델을 윈도우 환경에서 쉽게 다운로드할 수 있는 방법에 대해 알아보겠습니다. 아래에서 소개하는 3가지 방법은 SSL 오류가 발생할 경우에도 유용하게 사용할 수 있습니다.
모델 다운로드 방법 개요
Hugging Face 모델을 다운로드하는 방법은 다음과 같습니다:
snapshot_download() 사용하기
이 방법은 파이썬을 이용하여 전체 모델을 다운로드하는 가장 간편한 방법입니다.
설치
먼저, Hugging Face Hub를 설치해야 합니다. 아래 명령어를 입력하세요:
pip install huggingface_hub파이썬 코드 실행
아래 코드를 이용하여 원하는 모델을 다운로드합니다:
“`python
from huggingface_hub import snapshot_download
snapshot_download(
repo_id=”mistralai/Mistral-7B-Instruct”, # 원하는 모델 이름
local_dir=”C:/Users/내이름/Downloads/mistral_model” # 원하는 저장 경로
)
“`
– 인증이 필요한 모델인 경우 Hugging Face에 로그인하고 토큰을 발급받아 환경변수로 설정해야 합니다.
Git + Git LFS로 모델 클론하기
Git을 이용해 모델을 클론하는 방법입니다. 보안 이슈가 없는 방법으로 SSL 우회가 불가능할 때 대체 수단으로 사용할 수 있습니다.
- 설치
Git과 Git LFS를 설치합니다: - Git 다운로드
명령어로 클론
Git Bash를 열고 다음 명령어를 실행합니다:
bash
git lfs install
git clone https://huggingface.co/mistralai/Mistral-7B-Instruct
cd Mistral-7B-Instruct
git lfs pull
이렇게 하면 모델 구조와 가중치가 모두 다운로드됩니다.모델 사용하기
다운로드된 모델을 transformers 라이브러리로 불러와 사용합니다:
“`python
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = “C:/Users/내이름/Mistral-7B-Instruct” # 클론한 폴더 경로
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path)
input_text = “Hello, what is the meaning of life?”
inputs = tokenizer(input_text, return_tensors=”pt”)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
“`
Hugging Face CLI 활용하기
Hugging Face CLI를 이용하여 모델을 다운로드하는 방법입니다. 이 방법도 인증이 필요합니다.
설치
Hugging Face Hub를 설치합니다:
pip install huggingface_hub로그인
다음 명령어로 로그인합니다:
huggingface-cli login # 웹에서 토큰 복사 후 붙여넣기전체 클론
명령어를 통해 모델을 클론합니다:
huggingface-cli repo clone mistralai/Mistral-7B-Instruct --type model
모델 다운로드 방법 비교
아래의 요약표를 통해 각 방법의 특징을 비교해 보세요.
| 방법 | 실행 위치 | 윈도우 여부 | 장점 |
|---|---|---|---|
| snapshot_download() | Python | ✅ | 가장 간단하고 정확한 방법 |
| Git + Git LFS | Git Bash or CMD | ✅ | 오픈소스 다운로드에 적합 |
| huggingface-cli | CMD or 터미널 | ✅ | Hugging Face 전용 도구 |
로컬 실행과 API 사용 비교
Hugging Face 모델을 로컬에서 실행할 경우와 API를 사용하는 경우의 메모리 사용량 차이를 비교해 보겠습니다.
| 항목 | 로컬 실행 | Hugging Face Inference API |
|---|---|---|
| 메모리 사용 | 많이 사용함 (모델 전체 로딩) | 거의 사용 안 함 (API 호출만) |
| 속도 | 빠를 수 있음 | 느릴 수 있음 (네트워크 지연) |
| 비용 | GPU 자원 필요 (비용 발생) | 일정 사용량까지 무료 |
| 유연성 | 프롬프트 구조, 토큰 수 등 자유롭게 설정 가능 | 제한 있음 (timeout, max tokens 등) |
| 사용 예 | 대용량 배치 처리, 커스터마이징 필요 | 테스트, 소규모 응답 생성, 비용 아끼고 싶을 때 |
자주 묻는 질문
허깅페이스 모델을 로컬에 다운받아 실행할 경우, API를 사용하는 것과 비교해 메모리 사용량의 차이는?
로컬에서 모델을 실행할 경우 전체 모델을 메모리에 로딩하므로 RAM을 많이 사용하게 됩니다. 반면, API는 네트워크를 통해 결과만 받아오기 때문에 메모리 사용량이 적습니다.
모델 다운로드 시 인증 오류가 발생할 경우 어떻게 해야 하나요?
모델이 비공개이거나 조건부 액세스가 필요한 경우, Hugging Face에 로그인하고 발급받은 토큰으로 인증을 진행해야 합니다.
이전 글: 인천 지역 일반음식점 현황

