# EETQ

[Easy and Efficient Quantization for Transformers (EETQ)](https://github.com/NetEase-FuXi/EETQ), ağırlıkları çıktı başına bir ölçekle int8'e kuantize eder ve matmul işlemini int8 ağırlıklar ile 16-bit aktivasyonlar kullanarak çalıştırır. NVIDIA GPU'larda kalibrasyon verisi olmadan 8-bit yalnızca-ağırlık kuantizasyonu için kullanın.

Aşağıdaki tablo, EETQ'nin Transformers'ta neyi desteklediğini özetlemektedir.

| | |
|---|---|
| Yapılandırma | [EetqConfig](/docs/transformers/v5.24.0/tr/main_classes/quantization#transformers.EetqConfig) |
| `quant_method` | `eetq` |
| İş Akışı | Yükleme sırasında kuantize et |
| Bitler | 8 |
| Donanım | CUDA |
| Kaydet | ✅ |
| İnce ayar | ✅ |
| Otomatik derleme | ❌ |

## EETQ çekirdeklerini yükleyin

Transformers, EETQ çekirdeklerini Hub'daki [kernels-community/quantization-eetq](https://huggingface.co/kernels-community/quantization-eetq) deposundan indirir, bu nedenle EETQ'yi derlemenize gerek yoktur. [kernels](https://huggingface.co/docs/kernels/index) ve [Accelerate](https://huggingface.co/docs/accelerate/index) kütüphanelerini yükleyin.

```bash
pip install -U "transformers[kernels]" accelerate
```

## EETQ ile bir modeli kuantize etme

[EetqConfig](/docs/transformers/v5.24.0/tr/main_classes/quantization#transformers.EetqConfig) oluşturun ve [from_pretrained()](/docs/transformers/v5.24.0/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) fonksiyonuna iletin. `weights`, ağırlık veri türünü belirler ve yalnızca varsayılan olan `"int8"` değerini kabul eder.

```py
import torch
from transformers import AutoModelForCausalLM, EetqConfig

quantization_config = EetqConfig("int8")
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    dtype=torch.float16,
    device_map="cuda",
)
```

En iyi verimlilik için modeli `dtype=torch.float16` ile yükleyin. EETQ ölçeklerini fp16'da saklar.

## Kısıtlamalar

- EETQ bir CUDA GPU gerektirir. GPU olmadan yüklenmeye çalışılırsa `RuntimeError` hatası oluşur.
- EETQ, CPU veya diske aktarım yapamaz. `"cpu"` veya `"disk"` içeren bir `device_map`, `ValueError` hatası oluşturur.

## Kaynaklar

- [EETQ](https://github.com/NetEase-FuXi/EETQ) deposu

