Huggingface.js documentation
Arayüz: QuantizationConfig
Arayüz: QuantizationConfig
Hiyerarşi
QuantizationConfig
Özellikler
bits
• Optional bits: number
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ grupları
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
Ana kuantizörden farklı olduğunda yönlendirilmiş uzman hassasiyeti (ör. FP8 dikkat ile FP4 uzmanlar).
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:920
biçim
• Optional format: string
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:934
grup _ boyutu
• Optional group_size: number
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:928
yoksay
• Optional yoksay: string[]
compressed-tensors, hariç tutma listesini modules_to_not_convert yerine ignore olarak adlandırır ve config_groups[].targets ile aynı re: önekli hedef sözdizimini kullanır.
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit: boolean
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:932
mode
• Optional mode: string
MLX kuantizasyon modu (ör. affine); MLX yapılandırmaları quant_method belirtmez.
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
NVIDIA ModelOpt (quant_method: "modelopt") algoritması, örn. "NVFP4", "W4A16_NVFP4", "FP8" veya "MIXED_PRECISION" — bu durumda modül başına algoritma quantized_layers içindedir.
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant_method
• Optional quant_method: string
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:918
kuantize _ katmanlar
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt karma hassasiyet: modül adı (veya üst modül, örn. …mlp.experts) -> algoritması.
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store _ dtype
• Optional store_dtype: string
expert_dtype'nin başka bir adla aynı rolü: MiMo-V2.6, yoğun katmanları için quant_method: "fp8" kullanırken yönlendirilmiş uzmanları store_dtype: "mxfp4" olarak saklar, her U8 içinde ikisi paketlenmiş şekilde.
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub