Householder Reflection Adaptation(HRA)를 통한 저랭크 적응과 직교 적응 간의 간극 해소

HRA는 Householder reflections를 활용하여 매개변수와 계산 비용을 줄이면서 사전 학습 지식의 손실을 페널티로 부과함으로써 LoRA와 OFT를 연결하는 새로운 관점을 제공합니다. 이를 통해 두 전략의 장점을 모두 활용할 수 있으며, 학습 가능한 매개변수가 더 적은 상태에서 일관되게 더 나은 성능을 달성합니다. 또한 대규모 언어 모델(LLM)과 조건부 이미지 생성기를 포함한 다양한 모델에서 최첨단 어댑터보다 우수한 성능을 보입니다.

HRA는 r 개의 학습 가능한 Householder 반사(HR) 체인을 구성합니다. Householder 반사 행렬은 직교 행렬이고, 직교 행렬의 곱 역시 직교 행렬이므로 HRA는 Orthogonal Finetuning(OFT)의 이론적 보장을 충족합니다. 한편, HRA는 저랭크 fine-tuning 어댑터로도 볼 수 있습니다. r, 이 클수록 학습 가능한 매개변수가 많아져 모델 용량이 커지고 성능이 향상됩니다. 또한 체인 구조로 인해 HR 평면의 직교성이 HRA의 용량과 규칙성에 영향을 미칩니다. 모델 용량과 규칙성 사이의 균형을 맞추기 위해 손실 함수에 HR 평면의 직교성 정규화 항을 추가합니다. 가중치$\lambda$ 으로 정규화 항의 강도를 조절할 수 있습니다.

해당 논문의 초록은 다음과 같습니다:

기술적 경로가 서로 다르지만, 저랭크 적응과 직교 적응 기법 모두 소수의 학습 가능 파라미터를 기반으로 대규모 사전 학습 모델을 특정 작업이나 도메인에 효율적으로 적응시킬 수 있습니다. 본 연구에서는 이 두 기법 사이의 간극을 메우기 위해 Householder 반사(Householder reflections)에 기반한 단순하면서도 효과적인 적응 방법을 제안합니다. 사전 학습된 모델이 주어졌을 때, 본 방법은 각 동결된 가중치 행렬을 학습 가능한 Householder 반사(HR)의 체인으로 구성된 직교 행렬과 곱셈하여 해당 모델의 레이어를 미세 조정(fine-tune)합니다. 이러한 HR 기반 직교 미세 조정은 적응형 저랭크 적응과 동치입니다. 또한, HR에 대응하는 반사 평면의 직교성이 모델의 용량(capacity)과 규칙성(regularity)에 영향을 미친다는 것을 보여줍니다. 이러한 분석은 HR의 직교성을 정규화(regularize)하도록 동기를 부여하며, 이는 제안된 Householder 반사 적응(HRA) 방법의 다양한 구현으로 이어집니다. 최첨단(state-of-the-art) 방법들과 비교했을 때, HRA는 대규모 언어 모델과 조건부 이미지 생성기를 적응시킬 때 더 적은 학습 가능 파라미터로 우수한 성능을 달성합니다. 코드는 peft와 HRA에서 사용할 수 있습니다.

API

HRAConfig

HRAModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAConfig, get_peft_model

>>> config_te = HRAConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = HRAConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)