# 인터페이스: QuantizationConfig

## 계층 구조

- **`QuantizationConfig`**

  ↳ [`MlxQuantizationConfig`](MlxQuantizationConfig)

## 속성

### bits

• `Optional` **bits**: `number`

#### 정의 위치[[bits.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:930](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L930)

___

### config\_groups

• `Optional` **config\_groups**: `Record`\<`string`, \{ `format?`: `string` ; `targets?`: `string`[] ; `weights?`: \{ `num_bits?`: `number`  }  }\>

#### 정의 위치[[configgroups.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:935](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L935)

___

### expert\_dtype

• `Optional` **expert\_dtype**: `string`

주 양자화기와 다른 경우의 라우팅된 전문가 정밀도(예: FP8 어텐션과 함께 FP4 전문가).

#### 정의 위치[[expertdtype.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:920](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L920)

___

### 형식

• `Optional` **형식**: `string`

#### 정의 위치[[format.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:934](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L934)

___

### group\_size

• `Optional` **group\_size**: `number`

#### 정의 위치[[groupsize.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:928](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L928)

___

### ignore

• `Optional` **ignore**: `string`[]

compressed-tensors는 배제 목록을 `modules_to_not_convert` 대신 `ignore`라고 명명하며, `config_groups[].targets`와 동일한 `re:` 접두사 대상 구문을 사용합니다.

#### 정의 위치[[ignore.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:940](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L940)

___

### load\_in\_4bit

• `Optional` **load\_in\_4bit**: `boolean`

#### 정의 위치[[loadin4bit.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:931](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L931)

___

### load\_in\_8bit

• `Optional` **load\_in\_8bit**: `boolean`

#### 정의 위치[[loadin8bit.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:932](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L932)

___

### mode

• `Optional` **mode**: `string`

MLX 양자화 모드(예: `affine`); MLX 설정은 `quant_method`를 선언하지 않습니다.

#### 정의 위치[[mode.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:927](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L927)

___

### modules\_to\_not\_convert

• `Optional` **modules\_to\_not\_convert**: `string`[]

#### 정의 위치[[modulestonotconvert.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:929](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L929)

___

### quant\_algo

• `Optional` **quant\_algo**: `string`

NVIDIA ModelOpt(`quant_method: "modelopt"`) 알고리즘, 예: `"NVFP4"`, `"W4A16_NVFP4"`, `"FP8"`, 또는 `"MIXED_PRECISION"` — 이 경우 모듈별 알고리즘은 `quantized_layers`에 있습니다.

#### 정의 위치[[quantalgo.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:945](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L945)

___

### quant\_method

• `Optional` **quant\_method**: `string`

#### 정의 위치[[quantmethod.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:918](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L918)

___

### 양자화\_레이어

• `Optional` **양자화\_레이어**: `Record`\<`string`, \{ `quant_algo?`: `string`  }\>

ModelOpt 혼합 정밀도: 모듈 이름(또는 상위 모듈, 예: `…mlp.experts`) -> 해당 알고리즘.

#### 정의 위치[[quantizedlayers.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:947](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L947)

___

### store\_dtype

• `Optional` **store\_dtype**: `string`

`expert_dtype`와 동일한 역할을 다른 이름으로 수행합니다: MiMo-V2.6은 dense 레이어에 대해 `quant_method: "fp8"`를 사용하지만, 라우팅된 expert는 `store_dtype: "mxfp4"`로 저장하며, `U8` 하나당 두 개씩 패킹합니다.

#### 정의 위치[[storedtype.defined-in]]

[packages/hub/src/lib/parse-safetensors-metadata.ts:925](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L925)