Transformers documentation

Quanto

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Quanto

Quanto는 Optimum에서 제공하는 PyTorch 양자화 라이브러리입니다. 선형 레이어를 PyTorch 기반의 양자화 버전으로 대체하므로, PyTorch가 지원하는 모든 장치와 torch.nn.Linear 레이어를 포함하는 모든 모델(음성 및 비전 모델 포함)에서 작동합니다. MPS나 CPU처럼 다른 방법이 지원하지 않는 하드웨어에서 가중치를 2, 4 또는 8비트로 양자화하는 데 사용할 수 있습니다.

아래 표는 Transformers에서 Quanto가 지원하는 내용을 요약합니다.

설정QuantoConfig
quant_methodquanto
워크플로Quantize while loading
Bits2, 4, 8
하드웨어CUDA, MPS, XPU, CPU
저장❌
파인튜닝✅
자동 컴파일❌

Quanto 설치

optimum-quanto와 Accelerate를 설치합니다.

pip install -U optimum-quanto accelerate

Quanto로 모델 양자화

QuantoConfig을 생성하고 from_pretrained()에 전달합니다. weights는 가중치 dtype를 설정하며 "int8"(기본값), "float8", "int4", 또는 "int2"를 허용합니다.

from transformers import AutoModelForCausalLM, QuantoConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=QuantoConfig(weights="int4"),
    device_map="auto",
)

한계

  • Transformers는 가중치만 양자화합니다. QuantoConfig에서 activations를 설정하면 ValueError가 발생합니다. 활성화 양자화, 보정(calibration), 양자화 인식 학습(quantization-aware training)을 수행하려면 Quanto 라이브러리를 직접 사용하세요.
  • Transformers는 Quanto 모델을 저장할 수 없습니다. Quanto 라이브러리는 양자화 모델을 저장하고 다시 로드하는 자체적인 방법을 제공합니다.
  • 로드 중에 양자화를 수행하면 CPU 또는 디스크로 오프로드할 수 없습니다. 모델의 일부를 "cpu" 또는 "disk"에 배치하는 device_map은 ValueError를 발생시킵니다.

리소스

Update on GitHub