Transformers documentation

EETQ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

EETQ

Easy and Efficient Quantization for Transformers (EETQ), ağırlıkları çıktı başına bir ölçekle int8'e kuantize eder ve matmul işlemini int8 ağırlıklar ile 16-bit aktivasyonlar kullanarak çalıştırır. NVIDIA GPU'larda kalibrasyon verisi olmadan 8-bit yalnızca-ağırlık kuantizasyonu için kullanın.

Aşağıdaki tablo, EETQ'nin Transformers'ta neyi desteklediğini özetlemektedir.

YapılandırmaEetqConfig
quant_methodeetq
İş AkışıYükleme sırasında kuantize et
Bitler8
DonanımCUDA
Kaydet✅
İnce ayar✅
Otomatik derleme❌

EETQ çekirdeklerini yükleyin

Transformers, EETQ çekirdeklerini Hub'daki kernels-community/quantization-eetq deposundan indirir, bu nedenle EETQ'yi derlemenize gerek yoktur. kernels ve Accelerate kütüphanelerini yükleyin.

pip install -U "transformers[kernels]" accelerate

EETQ ile bir modeli kuantize etme

EetqConfig oluşturun ve from_pretrained() fonksiyonuna iletin. weights, ağırlık veri türünü belirler ve yalnızca varsayılan olan "int8" değerini kabul eder.

import torch
from transformers import AutoModelForCausalLM, EetqConfig

quantization_config = EetqConfig("int8")
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    dtype=torch.float16,
    device_map="cuda",
)

En iyi verimlilik için modeli dtype=torch.float16 ile yükleyin. EETQ ölçeklerini fp16'da saklar.

Kısıtlamalar

  • EETQ bir CUDA GPU gerektirir. GPU olmadan yüklenmeye çalışılırsa RuntimeError hatası oluşur.
  • EETQ, CPU veya diske aktarım yapamaz. "cpu" veya "disk" içeren bir device_map, ValueError hatası oluşturur.

Kaynaklar

Update on GitHub