# Quanto

[Quanto](https://github.com/huggingface/optimum-quanto), [Optimum](https://huggingface.co/docs/optimum/index) tarafından geliştirilen bir PyTorch kuantizasyon kütüphanesidir. Doğrusal katmanları, PyTorch üzerine inşa edilmiş kuantize edilmiş versiyonlarıyla değiştirir; bu sayede PyTorch'un desteklediği herhangi bir cihazda ve `torch.nn.Linear` katmanlarına sahip herhangi bir modelde (konuşma ve görü modelleri dahil) çalışır. MPS veya CPU gibi diğer yöntemlerin desteklemediği donanımlarda ağırlıkları 2, 4 veya 8 bit olarak kuantize etmek için kullanın.

Aşağıdaki tablo, Transformers'ta Quanto'nun neyi desteklediğini özetler.

| | |
|---|---|
| Yapılandırma | [QuantoConfig](/docs/transformers/v5.24.0/tr/main_classes/quantization#transformers.QuantoConfig) |
| `quant_method` | `quanto` |
| İş Akışı | Yükleme sırasında kuantize et |
| Bitler | 2, 4, 8 |
| Donanım | CUDA, MPS, XPU, CPU |
| Kaydet | ❌ |
| İnce ayar | ✅ |
| Otomatik derleme | ❌ |

## Quanto'yu Yükle

optimum-quanto ve [Accelerate](https://huggingface.co/docs/accelerate/index) paketlerini yükleyin.

```bash
pip install -U optimum-quanto accelerate
```

## Bir modeli Quanto ile kuantize etme

Bir [QuantoConfig](/docs/transformers/v5.24.0/tr/main_classes/quantization#transformers.QuantoConfig) oluşturun ve [from_pretrained()](/docs/transformers/v5.24.0/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) fonksiyonuna iletin. `weights` parametresi ağırlık veri türünü belirler ve `"int8"` (varsayılan), `"float8"`, `"int4"` veya `"int2"` değerlerini kabul eder.

```py
from transformers import AutoModelForCausalLM, QuantoConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=QuantoConfig(weights="int4"),
    device_map="auto",
)
```

## Kısıtlamalar

- Transformers yalnızca ağırlıkları kuantize eder. [QuantoConfig](/docs/transformers/v5.24.0/tr/main_classes/quantization#transformers.QuantoConfig) içinde `activations` ayarlanırsa bir `ValueError` oluşturulur. Aktivasyon kuantizasyonu, kalibrasyon veya kuantizasyon farkında eğitim için [Quanto](https://github.com/huggingface/optimum-quanto) kütüphanesini doğrudan kullanın.
- Transformers, Quanto modellerini kaydedemez. [Quanto](https://github.com/huggingface/optimum-quanto) kütüphanesi, kuantize modelleri kaydetmek ve yeniden yüklemek için kendi yöntemine sahiptir.
- Yükleme sırasında kuantizasyon, CPU'ya veya diske taşımaya izin vermez. Modelin bir kısmını `"cpu"` veya `"disk"` üzerine yerleştiren bir `device_map`, `ValueError` hatası oluşturur.

## Kaynaklar

- [Quanto: Optimum için bir PyTorch kuantizasyon arka ucu](https://huggingface.co/blog/quanto-introduction) blog yazısı
- [optimum-quanto](https://github.com/huggingface/optimum-quanto) deposu

