Transformers documentation

NVFP4

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

NVFP4

NVFP4 adalah format floating-point 4-bit dari NVIDIA. Setiap blok 16 bobot berbagi skala FP8, dan setiap tensor memiliki skala FP32 di atasnya. Transformers mengkuantisasi bobot saat model dimuat dan mengkuantisasi aktivasi secara langsung, sehingga prefill berjalan sebagai matmul W4A4 pada tensor core Blackwell dan decode berjalan sebagai matmul W4A16. Gunakan ini untuk menjalankan model 4-bit pada GPU Blackwell.

Tabel di bawah ini merangkum apa yang didukung oleh NVFP4 di Transformers.

KonfigurasiNVFP4Config
quant_methodnvfp4
Alur KerjaKuantisasi saat memuat
Bit4
Perangkat KerasSatu GPU CUDA dengan kemampuan komputasi 10.0+ (Blackwell)
Simpan❌
Fine-tune❌
Auto-compile✅

Install kernel NVFP4

Transformers mengunduh kernel NVFP4 dari repositori kernels-community/nvfp4-gemm di Hub. Instal pustaka kernels. Kernel ini memerlukan build yang sesuai dengan versi PyTorch dan CUDA Anda.

pip install -U "transformers[kernels]"

Kuantisasi model dengan NVFP4

Buat NVFP4Config dan teruskan ke from_pretrained() dengan device_map yang menempatkan seluruh model pada satu GPU CUDA. Checkpoint sumber harus memiliki bobot floating-point.

from transformers import AutoModelForCausalLM, NVFP4Config

quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

NVFP4 mengganti setiap lapisan torch.nn.Linear yang tidak memiliki bias dan yang in_features serta out_features keduanya habis dibagi 16. Lapisan linear lainnya mempertahankan presisi aslinya. NVFP4Config tidak memiliki parameter yang mengubah cara bobot dikuantisasi.

Keterbatasan

  • NVFP4 memerlukan GPU CUDA dengan compute capability 10.0 atau lebih baru. Memuat tanpa GPU CUDA atau pada GPU yang lebih lama akan memicu RuntimeError.
  • NVFP4 berjalan di satu GPU. device_map yang mencakup beberapa GPU, atau tensor parallelism, akan memicu ValueError.
  • NVFP4 tidak dapat di-offload ke CPU atau disk. device_map yang mencakup "cpu" atau "disk", atau tanpa device_map sama sekali, akan memicu ValueError.
  • NVFP4 tidak dapat memuat checkpoint NVFP4 yang sudah dikuantisasi sebelumnya. Memuatnya akan memicu ValueError.
  • Model NVFP4 tidak dapat disimpan atau dihaluskan.

Sumber daya

Update on GitHub