Parameter

• r (int) — Rank dari Lily. Menentukan dimensi hidden internal dari setiap adapter dan rank dari pembaruan bobot A @ B. Pada Lily, karena jumlah adapter biasanya lebih kecil daripada pada LoRA, setiap adapter perlu membawa lebih banyak kapasitas, sehingga disarankan untuk menggunakan r yang lebih besar daripada pada LoRA — biasanya 2x, 3x, atau 4x dari rank LoRA yang biasanya Anda gunakan. Jumlah total parameter yang dapat dilatih berskala dengan r * (total_layers / stride_A + num_B), sehingga meningkatkan r sambil menjaga stride_A tetap besar dan num_B tetap kecil adalah trade-off yang disarankan.
• stride_A (int) — Jumlah lapisan berurutan yang berbagi satu adapter A. Misalnya, jika stride_A=4, setiap 4 lapisan bersebelahan berbagi adapter A yang sama, sehingga menghasilkan total_layers / stride_A adapter A yang berbeda secara total. Adapter A mengompresi input menjadi representasi low-rank berukuran r. stride_A tidak boleh kurang dari
  1. Nilai yang disarankan: 2, 3, atau 4 (yaitu berbagi setiap 2, 3, atau 4 lapisan). Menjaga stride_A besar (lebih sedikit adapter A yang berbeda) dan meningkatkan r sebagai gantinya menghasilkan kinerja yang lebih baik daripada trade-off sebaliknya (stride_A kecil, r kecil). Mengatur stride_A=1 berarti setiap lapisan memiliki adapter A-nya sendiri. CATATAN: berbagi A terjadi di dalam setiap target (lapisan dengan sufiks target yang sama). Misalnya, jika target_modules Anda adalah ['q_proj', 'v_proj'] dan Anda mengatur stride_A=2, maka setiap 2 lapisan q_proj yang berdekatan akan berbagi satu adapter A, dan setiap 2 lapisan v_proj yang berdekatan akan berbagi adapter A lainnya, tetapi lapisan q_proj dan v_proj tidak akan berbagi adapter A satu sama lain karena mereka memiliki sufiks yang berbeda.
• num_B (int) — Jumlah adapter B yang dibagikan. Berbeda dengan adapter A (yang dikelompokkan per lapisan), semua adapter B dibagikan secara global di setiap lapisan. Untuk setiap forward pass, sebuah router menghitung kombinasi berbobot dari semua num_B adapter B (menggunakan bobot yang dinormalisasi dengan softmax) untuk menghasilkan satu adapter B gabungan, yang kemudian memproyeksikan representasi low-rank kembali ke dimensi asli. Disarankan untuk mengatur num_B ke orde yang serupa dengan total_layers / stride_A. Nilai yang disarankan: total_layers / 2, total_layers / 3, atau total_layers / 4. Sama seperti stride_A, lebih baik memilih num_B yang lebih kecil dengan r yang lebih besar daripada num_B yang lebih besar dengan r yang lebih kecil. CATATAN: untuk melatih router, Anda membutuhkan setidaknya 2 adapter B (yaitu num_B >= 2), karena router belajar menghitung kombinasi berbobot dari adapter B. CATATAN: pembagian B terjadi di dalam setiap target (lapisan dengan sufiks target yang sama). Misalnya, jika target_modules Anda adalah ['q_proj', 'v_proj'] dan Anda mengatur num_B=4, maka akan ada 4 adapter B yang dibagikan di semua lapisan q_proj, dan 4 adapter B lainnya yang dibagikan di semua lapisan v_proj, tetapi lapisan q_proj dan v_proj tidak akan saling membagikan adapter B karena mereka memiliki sufiks yang berbeda.
• target_modules (Union[List[str], str], opsional) — Nama-nama modul yang akan diterapkan Lily. Bisa berupa daftar string nama modul (mis. ['q_proj', 'v_proj']) atau pola regex (mis. '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'). Jika tidak dinyatakan, Lily akan diterapkan ke semua linear layer yang didukung.
• scaling (float) — Penggali skalar yang diterapkan pada output adapter gabungan (scaling * A @ combined_B) sebelum ditambahkan ke forward pass bobot beku. Berbeda dengan LoRA, Lily tidak menggunakan formulasi alpha / r; sebagai gantinya, scaling adalah pengali langsung. Desain ini memudahkan pemindaian nilai pada skala log (misalnya 0.01, 0.1, 1.0, 10.0). Nilai optimal bergantung pada tugas dan harus diperlakukan sebagai hiperparameter. Kami merekomendasikan memulai dengan 1.0.
• modules_to_save (List[str], opsional) — Daftar modul di luar lapisan Lily yang akan disetel sebagai trainable dan disimpan dalam checkpoint akhir. Sebagai contoh, pada tugas Sequence Classification atau Token Classification, lapisan akhir classifier/score diinisialisasi secara acak sehingga perlu dibuat trainable dan disimpan.
• exclude_modules (Union[List[str], str], opsional) — Nama-nama modul yang tidak akan diterapkan adapter. Saat meneruskan string, pencocokan regex akan dilakukan. Saat meneruskan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul berakhiran dengan salah satu string yang diteruskan.
• layers_to_transform (Union[list[int], int], opsional) — Indeks layer yang akan ditransformasi. Jika argumen ini ditentukan, PEFT hanya akan mentransformasi indeks layer yang tercantum di dalam daftar ini. Jika satu bilangan bulat tunggal diberikan, PEFT hanya akan mentransformasi layer pada indeks tersebut.
• layers_pattern (Optional[Union[List[str], str]], opsional) — Nama pola layer, hanya digunakan jika layers_to_transform berbeda dari None dan jika pola layer tersebut tidak ada dalam pola layer umum. Ini harus menargetkan nn.ModuleList dari model, yang sering disebut sebagai 'layers' atau 'h'.
• init_weights (bool) — Apakah akan menginisialisasi bobot adapter Lily menggunakan skema inisialisasi default: matriks A diinisialisasi dengan Kaiming uniform, dan matriks B diinisialisasi ke nol, sehingga memastikan bahwa output adapter bernilai nol pada awal pelatihan dan tidak mengganggu model pretrained. Sangat disarankan untuk tetap mempertahankan nilai ini sebagai True kecuali Anda memiliki alasan spesifik untuk mengubahnya.

Parameter

• model (torch.nn.Module) — Model yang akan diadaptasi.
• config (LilyConfig) — Konfigurasi model Lily.
• adapter_name (str) — Nama adapter, secara default "default".