Transformers documentation

Quanto

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Quanto

Quanto, Optimum tarafından geliştirilen bir PyTorch kuantizasyon kütüphanesidir. Doğrusal katmanları, PyTorch üzerine inşa edilmiş kuantize edilmiş versiyonlarıyla değiştirir; bu sayede PyTorch’un desteklediği herhangi bir cihazda ve torch.nn.Linear katmanlarına sahip herhangi bir modelde (konuşma ve görü modelleri dahil) çalışır. MPS veya CPU gibi diğer yöntemlerin desteklemediği donanımlarda ağırlıkları 2, 4 veya 8 bit olarak kuantize etmek için kullanın.

Aşağıdaki tablo, Transformers'ta Quanto'nun neyi desteklediğini özetler.

YapılandırmaQuantoConfig
quant_methodquanto
İş AkışıYükleme sırasında kuantize et
Bitler2, 4, 8
DonanımCUDA, MPS, XPU, CPU
Kaydet❌
İnce ayar✅
Otomatik derleme❌

Quanto'yu Yükle

optimum-quanto ve Accelerate paketlerini yükleyin.

pip install -U optimum-quanto accelerate

Bir modeli Quanto ile kuantize etme

Bir QuantoConfig oluşturun ve from_pretrained() fonksiyonuna iletin. weights parametresi ağırlık veri türünü belirler ve "int8" (varsayılan), "float8", "int4" veya "int2" değerlerini kabul eder.

from transformers import AutoModelForCausalLM, QuantoConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=QuantoConfig(weights="int4"),
    device_map="auto",
)

Kısıtlamalar

  • Transformers yalnızca ağırlıkları kuantize eder. QuantoConfig içinde activations ayarlanırsa bir ValueError oluşturulur. Aktivasyon kuantizasyonu, kalibrasyon veya kuantizasyon farkında eğitim için Quanto kütüphanesini doğrudan kullanın.
  • Transformers, Quanto modellerini kaydedemez. Quanto kütüphanesi, kuantize modelleri kaydetmek ve yeniden yüklemek için kendi yöntemine sahiptir.
  • Yükleme sırasında kuantizasyon, CPU'ya veya diske taşımaya izin vermez. Modelin bir kısmını "cpu" veya "disk" üzerine yerleştiren bir device_map, ValueError hatası oluşturur.

Kaynaklar

Update on GitHub