MonteCLoRA（Monte Carlo Low-Rank Adaptation）

これはLoRAのバリアントであり、このページに特に記載がない限り、LoRAで可能なすべてのことがこの方法にも適用されます。

MonteCLoRAは、標準的なLoRAアダプターを小さな変分モジュールでラップし、学習中にLoRAのA行列に対して確率的摂動のモンテカルロサンプルを抽出します。具体的には、変分パラメータ（Wishart分布に基づく共分散、サンプルごとの多変量正規ノイズ項、サンプル間のDirichlet重み付け）を学習し、フォワードパスのたびに得られた平均化された摂動をlora_Aに加算します。これらの変分パラメータを妥当な事前分布に固定するため、訓練損失にはKLダイバージェンスとエントロピーの項が加算されます。推論時にはサンプラーが無効化され、MonteCLoRAは通常のLoRAアダプターと完全に同じ挙動を示すため、追加の推論コストやマージが必要な追加パラメータはありません。手法の詳細については、https://huggingface.co/papers/2411.04358を参照してください。

次のような場合は、MonteCLoRAを検討することをお勧めします。

• ノイズの多い小規模データセットでファインチューニングを行っており、バニラLoRAよりも強力な正則化を求めている場合です。モンテカルロ平均とKL項が組み合わさることで、ベイズ的な正則化器として機能します。
• 推論時の追加コストを払わずに、アダプターからより良い不確実性のキャリブレーション/ロバスト性を得たい場合（変分機構はトレーニング時のみ使用されます）。
• Vanilla LoRAは過学習しており、rを下げたりlora_dropoutを上げたりするだけでは不十分です。

大規模でクリーンなデータセットがあり、バニラLoRAがすでに安定して学習できる場合、MonteCLoRAは必要ない可能性が高いです。そのような状況では、追加の変分パラメータは大きな利点をもたらさず、主に学習のオーバーヘッドを増やすだけです。

MonteCLoRAを有効にするには、MontecloraConfigをLoraConfigに渡します:

from peft import LoraConfig, MontecloraConfig

monteclora_config = MontecloraConfig(
    num_samples=8,         # number of Monte Carlo samples per forward pass
    sample_scaler=1e-4,    # magnitude of the variational perturbation
    kl_loss_weight=1e-5,   # weight of the KL term added to the training loss
)
config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    monteclora_config=monteclora_config,
)

学習中は、タスクの損失にバリアショナル正則化損失を加える必要があります。最もシンプルな方法は、基盤となるLoraModelに対してLoraModel._get_monteclora_loss()を呼び出すことです:

task_loss = ...  # standard loss returned by your model
monteclora_loss = model._get_monteclora_loss()  # 0.0 if MonteCLoRA is not used
total_loss = task_loss + monteclora_loss
total_loss.backward()

HFのTrainerで学習する場合、compute_loss内でこれを行うpeft.helpers.MontecloraTrainerMixinをミックスインするだけで済みます:

from transformers import Trainer
from peft.helpers import MontecloraTrainerMixin


class MontecloraTrainer(MontecloraTrainerMixin, Trainer):
    pass

完全な動作するサンプルは、examples/monteclora_finetuning で利用できます。

API

MonteCloraConfig