RandLora: Penyesuaian halus parameter-efisien peringkat penuh untuk model besar

RandLora adalah teknik fine-tuning yang efisien dalam hal parameter, mirip dengan LoRA dan VeRA, tetapi melakukan pembaruan rank penuh untuk meningkatkan kinerja. RandLora dapat sangat berguna saat menyesuaikan model besar untuk tugas-tugas sulit yang memerlukan pembaruan kompleks sambil mempertahankan efisiensi parameter dari LoRA. Pembaruan rank penuh pada RandLora dicapai dengan menskalakan basis acak secara linear. Basis acak adalah kumpulan beberapa matriks rank rendah sehingga jumlah rank mereka sama dengan atau lebih besar dari rank penuh matriks parameter. Parameter yang dapat dilatih pada RandLora adalah dua matriks diagonal (vektor) yang dikalikan dengan basis acak rank rendah di sisi kanan, dengan cara yang serupa dengan pembaruan VeRA. Untuk menjaga penggunaan memori tetap rendah, RandLora menggunakan fungsi khusus yang mencegah penyimpanan basis yang tidak perlu di memori untuk backpropagation.

RandLora menunjukkan perbedaan yang signifikan, yaitu bertentangan dengan algoritma PEFT serupa LoRA lainnya, meningkatkan rank basis acak RandLora akan meningkatkan jumlah parameter yang dapat dilatih. Karena jumlah basis x rank basis bersifat konstan dalam RandLora, mengurangi rank akan meningkatkan jumlah basis acak, sehingga meningkatkan jumlah basis diagonal yang dapat dilatih dan spesifik untuk setiap basis.

Karena mengurangi rank dari basis acak RandLora akan meningkatkan jumlahnya, RandLora dapat menjadi lebih lambat untuk dilatih daripada LoRA untuk rank yang sangat kecil, di mana biasanya rank di bawah 4 akan menyebabkan peningkatan waktu pelatihan yang besar. Hal ini tidak memengaruhi inferensi, karena adapter RandLora dapat digabungkan ke dalam matriks bobot pra-terlatih.

RandLora juga mendukung pelatihan dengan basis acak yang jarang dan ternary (hanya berisi -1, 0, dan 1). Basis-basis ini dijelaskan dalam Bingham et al. dan Ping et al. dan secara teoretis dapat digunakan untuk mengurangi kebutuhan komputasi dengan melakukan agregasi alih-alih perkalian matriks untuk membuat pembaruan bobot. Hal ini belum didukung saat ini. Meskipun tidak mengurangi komputasi saat ini, penggunaan basis acak yang jarang dalam RandLora dapat mengurangi overfitting dalam beberapa kasus. Bagi pengguna yang tertarik menggunakan basis ternary yang jarang, opsi sparse direkomendasikan dibandingkan opsi very_sparse yang dapat mengurangi kinerja.

Sama seperti VeRA, saat menyimpan parameter RandLora, Anda dapat memilih untuk tidak menyimpan matriks rank rendah dengan mengatur save_projection=False pada VeraConfig. Dalam kasus tersebut, matriks-matriks ini akan dipulihkan berdasarkan seed acak tetap dari argumen projection_prng_key. Hal ini mengurangi ukuran checkpoint, tetapi kami tidak dapat menjamin reproduktibilitas di semua perangkat dan untuk semua versi PyTorch di masa depan. Jika Anda ingin memastikan reproduktibilitas, atur save_projection=True (yang merupakan nilai default).

Seperti pada Vera dan untuk menangani bentuk lapisan yang diadaptasi yang berbeda, RandLora menginisialisasi matriks A dan B yang dibagikan dengan ukuran terbesar yang diperlukan untuk setiap dimensi. Selama jalur maju, submatriks A dan B untuk lapisan tertentu dipotong dari matriks bersama ini dan digunakan seperti yang dijelaskan dalam makalah. Sebagai contoh, mengadaptasi dua lapisan linear dengan bentuk (100, 20) dan (80, 50) akan membuat matriks A dan B dengan bentuk (rank, 50) dan (100, rank) masing-masing. Kemudian, untuk mengadaptasi lapisan dengan bentuk (100, 20), submatriks A dan B dengan bentuk (rank, 20) dan (100, rank) akan diekstrak.

Saat ini, RandLora memiliki batasan berikut:

• Hanya lapisan nn.Linear yang didukung.

Abstrak dari makalah tersebut adalah:

Low-Rank Adaptation (LoRA) dan variasinya telah menunjukkan hasil yang mengesankan dalam mengurangi jumlah parameter yang dapat dilatih serta kebutuhan memori pada jaringan transformer besar, sambil tetap mempertahankan kinerja fine-tuning. Namun, sifat low-rank dari pembaruan bobot secara inheren membatasi kekuatan representasi model yang telah di-fine-tune, sehingga berpotensi mengompromikan kinerja pada tugas-tugas kompleks. Hal ini menimbulkan pertanyaan kritis: ketika kesenjangan kinerja antara LoRA dan fine-tuning standar diamati, apakah hal tersebut disebabkan oleh berkurangnya jumlah parameter yang dapat dilatih atau oleh defisiensi rank? Kertas kerja ini bertujuan untuk menjawab pertanyaan tersebut dengan memperkenalkan RandLora, sebuah metode yang efisien secara parameter yang melakukan pembaruan full-rank menggunakan kombinasi linear yang dipelajari dari matriks acak low-rank yang tidak dapat dilatih. Metode kami membatasi jumlah parameter yang dapat dilatih dengan membatasi optimasi pada matriks penskalaan diagonal yang diterapkan pada matriks acak yang tetap. Hal ini memungkinkan kami untuk secara efektif mengatasi keterbatasan low-rank sambil mempertahankan efisiensi parameter dan memori selama pelatihan. Melalui eksperimen yang luas di berbagai benchmark visi, bahasa, dan visi-bahasa, kami mengevaluasi secara sistematis keterbatasan LoRA dan metode basis acak yang ada. Temuan kami mengungkapkan bahwa pembaruan full-rank bermanfaat secara individual pada tugas-tugas visi dan bahasa, dan bahkan lebih lagi untuk tugas-tugas visi-bahasa, di mana RandLora secara signifikan mengurangi---dan terkadang menghilangkan---kesenjangan kinerja antara fine-tuning standar dan LoRA, sehingga menunjukkan efektivitasnya.

Ikhtisar benchmark

API

RandLoraConfig

RandLoraModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import RandLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = RandLoraConfig(r=32)
>>> model = get_peft_model(base_model, config)