参数

• n_frequency (int) — 离散小波变换 (DWT) 的可学习小波系数数量。‘n_frequency’ 是一个大于 0 且小于或等于原始权重矩阵中元素总数 (d_out * d_in) 的整数。该参数直接控制每个适配层中可训练参数的数量。较高的 ‘n_frequency’ 通常能带来更好的性能，但也会增加 GPU 内存占用，对训练速度的影响较小。
• scaling (float) — 应用于重构的 delta W 矩阵的缩放因子。这是一个至关重要的超参数，类似于 LoRA 中的 lora_alpha。可以在超参数搜索过程中对其进行调整。我们用于 SDXL 个性化训练的默认值为 25。
• wavelet_family (str) — 用于 DWT 和逆 DWT (IDWT) 的小波族（例如 ‘db1’、‘sym2’、‘coif1’）。默认为 ‘db1’（Haar 小波）。不同的小波族具有不同的滤波器长度，这会显著影响训练时间
• use_idwt (bool) — 设置为 False 以实现高效适配。是否使用逆离散小波变换（IDWT）从学习得到的小波系数重建 delta 权重。如果为 True（默认值），则应用 IDWT。如果为 False，则直接使用学习到的系数来构建稀疏 delta 权重矩阵，这种方式速度更快，但在 SDXL 个性化任务中表现较差。
• random_loc_seed (int) — 用于确定 n_frequency 个可学习小波系数在完整小波系数矩阵中随机位置的种子。
• target_modules (Union[list[str],str]) — 模块名称列表或用于标识要通过 WaveFT 进行适配的模块的正则表达式。例如， ['q_proj', 'v_proj'] 或 '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'。目前，仅支持线性 层 (torch.nn.Linear)。
• exclude_modules (Optional[Union[List[str], str]]) — 要从 WaveFT 适配中排除的模块名称列表或正则表达式。
• fan_in_fan_out (bool) — 如果待替换层的权重以 (fan_in, fan_out) 格式存储，则将其设置为 True。默认值为 False。
• bias (str) — WaveFT 的偏置类型。可以是 ‘none’、‘all’ 或 ‘waveft_only’。（‘fourier_only’ 可能是拼写错误，如果它表示仅对适配参数添加偏置，则已更正为 ‘waveft_only’）如果为 ‘waveft_only’，则仅向 WaveFT 组件添加偏置。如果为 ‘all’，则向基础组件和 WaveFT 组件均添加偏置。如果为 ‘none’，则不添加新的偏置。
• modules_to_save (list[str]) — 除 WaveFT 层外，还应标记为可训练并在最终检查点中保存的模块列表。对于序列或标记分类任务中随机初始化且需要训练的层（例如分类器）非常有用。
• layers_to_transform (Union[list[int],int]) — 要转换的特定层索引。如果提供，PEFT 将只适配这些索引处的层。如果给定单个整数，则只转换该层。
• layers_pattern (Optional[Union[List[str], str]]) — 层名称的模式，当指定了 layers_to_transform 且层模式不标准（例如不是 ‘layers’ 或 ‘h’）时使用。此参数应指向模型中的 nn.ModuleList 属性。
• n_frequency_pattern (dict) — 一个字典，将层名称（或正则表达式）映射到特定的 n_frequency 值，以覆盖全局的 n_frequency。示例：{"model.decoder.layers.0.encoder_attn.k_proj": 1000}。
• init_weights (bool) — 可学习小波系数（频谱）的初始化策略。如果为 True（默认值）， 系数将初始化为零。如果为 False，系数将从一个由小因子缩放的标准正态分布中初始化。
• proportional_parameters (bool) — 如果为 True，则 n_frequency 会根据每层的 input_dim * output_dim 按比例分配。默认值为 False。注意：此选项旨在实验性地确保全面性，以便研究人员能够复现论文结果，而非出于实用目的，因为尚未发现任何有益的场景。