Transformers documentation
Quanto
Quanto
Quanto, Optimum tarafından geliştirilen bir PyTorch kuantizasyon kütüphanesidir. Doğrusal katmanları, PyTorch üzerine inşa edilmiş kuantize edilmiş versiyonlarıyla değiştirir; bu sayede PyTorch’un desteklediği herhangi bir cihazda ve torch.nn.Linear katmanlarına sahip herhangi bir modelde (konuşma ve görü modelleri dahil) çalışır. MPS veya CPU gibi diğer yöntemlerin desteklemediği donanımlarda ağırlıkları 2, 4 veya 8 bit olarak kuantize etmek için kullanın.
Aşağıdaki tablo, Transformers'ta Quanto'nun neyi desteklediğini özetler.
| Yapılandırma | QuantoConfig |
quant_method | quanto |
| İş Akışı | Yükleme sırasında kuantize et |
| Bitler | 2, 4, 8 |
| Donanım | CUDA, MPS, XPU, CPU |
| Kaydet | ❌ |
| İnce ayar | ✅ |
| Otomatik derleme | ❌ |
Quanto'yu Yükle
optimum-quanto ve Accelerate paketlerini yükleyin.
pip install -U optimum-quanto accelerate
Bir modeli Quanto ile kuantize etme
Bir QuantoConfig oluşturun ve from_pretrained() fonksiyonuna iletin. weights parametresi ağırlık veri türünü belirler ve "int8" (varsayılan), "float8", "int4" veya "int2" değerlerini kabul eder.
from transformers import AutoModelForCausalLM, QuantoConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=QuantoConfig(weights="int4"),
device_map="auto",
)Kısıtlamalar
- Transformers yalnızca ağırlıkları kuantize eder. QuantoConfig içinde
activationsayarlanırsa birValueErroroluşturulur. Aktivasyon kuantizasyonu, kalibrasyon veya kuantizasyon farkında eğitim için Quanto kütüphanesini doğrudan kullanın. - Transformers, Quanto modellerini kaydedemez. Quanto kütüphanesi, kuantize modelleri kaydetmek ve yeniden yüklemek için kendi yöntemine sahiptir.
- Yükleme sırasında kuantizasyon, CPU'ya veya diske taşımaya izin vermez. Modelin bir kısmını
"cpu"veya"disk"üzerine yerleştiren birdevice_map,ValueErrorhatası oluşturur.
Kaynaklar
- Quanto: Optimum için bir PyTorch kuantizasyon arka ucu blog yazısı
- optimum-quanto deposu