Transformers documentation
EETQ
EETQ
Easy and Efficient Quantization for Transformers (EETQ), ağırlıkları çıktı başına bir ölçekle int8'e kuantize eder ve matmul işlemini int8 ağırlıklar ile 16-bit aktivasyonlar kullanarak çalıştırır. NVIDIA GPU'larda kalibrasyon verisi olmadan 8-bit yalnızca-ağırlık kuantizasyonu için kullanın.
Aşağıdaki tablo, EETQ'nin Transformers'ta neyi desteklediğini özetlemektedir.
| Yapılandırma | EetqConfig |
quant_method | eetq |
| İş Akışı | Yükleme sırasında kuantize et |
| Bitler | 8 |
| Donanım | CUDA |
| Kaydet | ✅ |
| İnce ayar | ✅ |
| Otomatik derleme | ❌ |
EETQ çekirdeklerini yükleyin
Transformers, EETQ çekirdeklerini Hub'daki kernels-community/quantization-eetq deposundan indirir, bu nedenle EETQ'yi derlemenize gerek yoktur. kernels ve Accelerate kütüphanelerini yükleyin.
pip install -U "transformers[kernels]" accelerateEETQ ile bir modeli kuantize etme
EetqConfig oluşturun ve from_pretrained() fonksiyonuna iletin. weights, ağırlık veri türünü belirler ve yalnızca varsayılan olan "int8" değerini kabul eder.
import torch
from transformers import AutoModelForCausalLM, EetqConfig
quantization_config = EetqConfig("int8")
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
dtype=torch.float16,
device_map="cuda",
)En iyi verimlilik için modeli dtype=torch.float16 ile yükleyin. EETQ ölçeklerini fp16'da saklar.
Kısıtlamalar
- EETQ bir CUDA GPU gerektirir. GPU olmadan yüklenmeye çalışılırsa
RuntimeErrorhatası oluşur. - EETQ, CPU veya diske aktarım yapamaz.
"cpu"veya"disk"içeren birdevice_map,ValueErrorhatası oluşturur.
Kaynaklar
- EETQ deposu