MiSS

MiSS (Matrix Shard Sharing), model performansı ile hesaplama verimliliği arasında iyi bir denge sağlayan bir PEFT yöntemidir. Yalnızca tek bir eğitilebilir matris gerektirir ve LoRA'dan farklı bir shard paylaşım mekanizması sunar.

Makalenin özeti şudur:

Parametre Verimli İnce Ayar (PEFT) yöntemleri, özellikle Düşük Sıralı Uyarlanma (LoRA), Büyük Dil Modelleri'ndeki (LLM) eğitilebilir parametre sayısını etkili bir şekilde azaltır. Ancak, model ölçekleri büyümeye devam ettikçe hesaplama kaynaklarına olan talep önemli bir zorluk olmaya devam etmektedir. Mevcut LoRA varyantları, uyarlanabilirlik (model performansı ve yakınsama hızı) ile verimlilik (hesaplama yükü, bellek kullanımı ve başlatma süresi) arasında optimal bir denge kurmakta genellikle zorlanmaktadır. Bu makale, bu ödünleşimi basit bir parça paylaşım mekanizması yoluyla ele alan yeni bir PEFT yaklaşımı olan MiSS'i (Matrix Shard Sharing) tanıtmaktadır. MiSS, ağırlık matrisinin birden fazla parça matrisine ayrıştırılması ve paylaşılan, eğitilebilir ortak bir parçanın kullanılması yoluyla düşük sıralı bir uyarlanmanın gerçekleştirilebileceği içgörüsünden yararlanmaktadır. Bu yöntem, düşük sıralı güncelleme matrisini, bu paylaşılan, bölünmüş parçaların çoğaltılması yoluyla oluşturur. Ayrıca MiSS için donanım verimli ve geniş kapsamlı bir uygulama öneriyoruz. Çeşitli görevlerde gerçekleştirilen kapsamlı deneyler ve hesaplama performansının sistematik analizi, MiSS'in üstünlüğünü göstermektedir. Sonuçlar, MiSS'in hem model performans metriklerinde hem de başlatma hızı ve eğitim verimliliği dahil olmak üzere hesaplama verimliliğinde standart LoRA ve önde gelen varyantlarını önemli ölçüde geride bıraktığını göstermektedir. İfade gücü ile kaynak kullanımını etkili bir şekilde dengeleyerek MiSS, büyük ölçekli modellerin verimli bir şekilde uyarlanması için ikna edici bir çözüm sunmaktadır.

Karma performans değerlendirmesi genel bakış

MiSS'in ne zaman kullanılacağı

MiSS şu durumlarda iyi bir seçimdir:

• PiSSA, LoRA-GA veya OLoRA gibi pahalı kurulumlar kullanan gelişmiş LoRA başlatma şemalarından daha hızlı başlatma ve daha yüksek eğitim verimliliği istiyorsunuz.
• LoRA'nın yerini alacak, minimal yapılandırma değişikliği gerektiren bir alternatif arıyorsunuz.

Bazı verimlilikten ödün vererek daha güçlü bir ifade gücüne ihtiyacınız varsa, bat başlatma varyantını (aşağıda) göz önünde bulundurun.

init_weights modları

MiSS, init_weights parametresi aracılığıyla üç başlatma modunu destekler:

• True (varsayılan): Standart MiSS başlatma. Çoğu kullanım senaryosu için en iyi başlangıç noktası.
• "bat": Farklı shard'lar arasında doğrusal olmayan güncellemeleri etkinleştirir. Standart MiSS'e göre daha iyi sonuçlar üretir ancak daha fazla bellek kullanır ve yaklaşık iki kat daha yavaştır. Performansın verimliliğe öncelikli olduğu durumlarda bunu kullanın.
• "mini": out_features boyutu boyunca daha küçük bir rank kullanır ve bu, mini_r ile kontrol edilir. Bu, eğitilebilir parametreleri daha da azaltır. Bu mod kullanıldığında mini_r ayarlanmalı ve out_features, mini_r'e tam bölünmelidir.

Hızlı başlangıç

import torch
from peft import MissConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer.pad_token_id = tokenizer.eos_token_id

# Standard MiSS
config = MissConfig(
    r=64,
    miss_dropout=0.01,
    task_type="CAUSAL_LM"
)

# BAT variant — better performance, more memory
# config = MissConfig(
#     r=64,
#     init_weights="bat",
#     task_type="CAUSAL_LM"
# )

# Mini variant — fewer trainable parameters
# config = MissConfig(
#     r=64,
#     init_weights="mini",
#     mini_r=8,
#     task_type="CAUSAL_LM"
# )

model = get_peft_model(model, config)
model.print_healthcheck()

Eğitim ve çıkarımı içeren tam bir ince ayar örneği için MiSS ince ayar örneğine bakın.

API

MissConfig

MissModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import MissConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = MissConfig(r=64)
>>> model = get_peft_model(base_model, config)