Transformers documentation
Quanto
시작하기
기본 클래스
모델
Preprocessors
추론
Pipeline API
Generate API
최적화
모델과 대화하기
서빙
학습
하드웨어
양자화
생태계 통합
리소스
API
Quanto
Quanto는 Optimum에서 제공하는 PyTorch 양자화 라이브러리입니다. 선형 레이어를 PyTorch 기반의 양자화 버전으로 대체하므로, PyTorch가 지원하는 모든 장치와 torch.nn.Linear 레이어를 포함하는 모든 모델(음성 및 비전 모델 포함)에서 작동합니다. MPS나 CPU처럼 다른 방법이 지원하지 않는 하드웨어에서 가중치를 2, 4 또는 8비트로 양자화하는 데 사용할 수 있습니다.
아래 표는 Transformers에서 Quanto가 지원하는 내용을 요약합니다.
| 설정 | QuantoConfig |
quant_method | quanto |
| 워크플로 | Quantize while loading |
| Bits | 2, 4, 8 |
| 하드웨어 | CUDA, MPS, XPU, CPU |
| 저장 | ❌ |
| 파인튜닝 | ✅ |
| 자동 컴파일 | ❌ |
Quanto 설치
optimum-quanto와 Accelerate를 설치합니다.
pip install -U optimum-quanto accelerate
Quanto로 모델 양자화
QuantoConfig을 생성하고 from_pretrained()에 전달합니다. weights는 가중치 dtype를 설정하며 "int8"(기본값), "float8", "int4", 또는 "int2"를 허용합니다.
from transformers import AutoModelForCausalLM, QuantoConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=QuantoConfig(weights="int4"),
device_map="auto",
)한계
- Transformers는 가중치만 양자화합니다. QuantoConfig에서
activations를 설정하면ValueError가 발생합니다. 활성화 양자화, 보정(calibration), 양자화 인식 학습(quantization-aware training)을 수행하려면 Quanto 라이브러리를 직접 사용하세요. - Transformers는 Quanto 모델을 저장할 수 없습니다. Quanto 라이브러리는 양자화 모델을 저장하고 다시 로드하는 자체적인 방법을 제공합니다.
- 로드 중에 양자화를 수행하면 CPU 또는 디스크로 오프로드할 수 없습니다. 모델의 일부를
"cpu"또는"disk"에 배치하는device_map은ValueError를 발생시킵니다.
리소스
- Quanto: Optimum용 PyTorch 양자화 백엔드 블로그 게시물
- optimum-quanto 저장소