X-LoRA

تُعدّ مزيج خبراء LoRA (X-LoRA) طريقة PEFT تُمكّن من مزيج متناثر أو كثيف لخبراء LoRA بناءً على مصفوفة توسيعات عالية الحُبيبية (رمز، طبقة، تسلسل). وتستفيد هذه الطريقة من محوِّلات LoRA المجمّدة ونموذج أساسي مجمّد لتقليل عدد المعاملات التي تحتاج إلى ضبط دقيق بشكل جذري.

من الجوانب الفريدة في X-LoRA هو تنوعه: إذ يمكن تطبيقه على أي نموذج أساسي في transformers مزوّد بمُكيّفات LoRA. وهذا يعني أنه، على الرغم من استراتيجية مزيج الخبراء، لا يجب إجراء أي تغييرات على كود النموذج.

يُبيّن الرسم البياني أدناه كيف تتغير معاملات التوسيع (scalings) لموجّهات (prompts) مختلفة لكل رمز (token). ويبرز هذا الرسم تفعيل مُكيّفات (adapters) مختلفة مع تقدم عملية التوليد وتكوين التسلسل لسياق جديد.

يتطلب X-LoRA في كل خطوة تشغيل النموذج الأساسي مرتين: أولاً، للحصول على الحالات المخفية دون أي محولات LoRA، وثانياً، تُستخدم الحالات المخفية لحساب عوامل التدرج التي تُطبَّق على محولات LoRA، ثم يُشغَّل النموذج مرة ثانية. يكون ناتج التشغيل الثاني هو نتيجة خطوة النموذج.

في النهاية، يتيح X-LoRA للنموذج أن يعكس معرفته بسبب مخطط المرور الأمامي المزدوج، ويعيد تكوين البنية ديناميكيًا.

ملخص الورقة البحثية هو:

نُقدّم استراتيجية خلط الخبراء لإنشاء نماذج لغوية كبيرة مُعدّلة باستخدام نهج عميق على مستوى الطبقات والرموز يعتمد على التكيف منخفض الرتبة (LoRA). بدءًا من مجموعة من مُكيّفات LoRA المُدرَّبة مسبقًا، تستخدم استراتيجية البوابة لدينا الحالات المخفية لخلط الطبقات المُكيَّفة ديناميكيًا، مما يتيح لنموذج X-LoRA الناتج الاعتماد على قدرات مختلفة وإنشاء تركيبات عميقة على مستوى الطبقات لم تُستخدم من قبل لحل المهام. يستلهم التصميم من المبادئ البيولوجية للشمولية والتنوع، حيث تُعاد استخدام وحدات بناء الشبكات العصبية في تجليات هرمية مختلفة. وبالتالي، يمكن تنفيذ نموذج X-LoRA بسهولة لأي نموذج لغوي كبير (LLM) موجود مسبقًا دون الحاجة إلى تعديلات على البنية الأساسية. نُطوّر نموذج X-LoRA مُصمَّم خصيصًا يوفر قدرات علمية تشمل مهام التحليل الأمامي/العكسي وقدرات استدلال محسّنة، مع تركيز على تحليل المواد الحيوية، ميكانيكا البروتينات وتصميمها. تشمل آثار هذا العمل الوصول إلى نماذج قابلة للتوسيع والتكيف بسهولة مع معرفة قوية بالمجال وقابلية التكامل عبر مجالات المعرفة المختلفة. وبفضل وجود خبراء في البيولوجيا، والرياضيات، والاستدلال، والمواد المستوحاة من البيولوجيا، والميكانيكا والمواد، والكيمياء، والفيزياء الحيوية للبروتينات، والميكانيكا، وخصائص الجزيئات المستندة إلى الميكانيكا الكمومية، نُجري سلسلة من دراسات الحالة المركزة على الفيزياء. نفحص استرجاع المعرفة، ومهام ميكانيكا البروتينات الأمامية/العكسية، وتصميم البروتينات، والنمذجة الوكيلة المعادية بما في ذلك بناء الرسوم البيانية المعرفية الأنطولوجية، وكذلك تصميم الجزيئات. لا يقتصر دور النموذج على إجراء تنبؤات كمية بخصائص البروتينات النانوية الميكانيكية أو الخصائص الجزيئية الكمومية، بل يستدل أيضًا على النتائج ويتنبأ بشكل صحيح بالآليات المحتملة التي تفسر السلوكيات الجزيئية المميزة..

يرجى الاستشهاد بـ X-LoRA على النحو التالي:

@article{10.1063/5.0203126,
    author = {Buehler, Eric L. and Buehler, Markus J.},
    title = "{X-LoRA: Mixture of low-rank adapter experts, a flexible framework for large language models with applications in protein mechanics and molecular design}",
    journal = {APL Machine Learning},
    volume = {2},
    number = {2},
    pages = {026119},
    year = {2024},
    month = {05},
    abstract = "{We report a mixture of expert strategy to create fine-tuned large language models using a deep layer-wise token-level approach based on low-rank adaptation (LoRA). Starting with a set of pre-trained LoRA adapters, our gating strategy uses the hidden states to dynamically mix adapted layers, allowing the resulting X-LoRA model to draw upon different capabilities and create never-before-used deep layer-wise combinations to solve tasks. The design is inspired by the biological principles of universality and diversity, where neural network building blocks are reused in different hierarchical manifestations. Hence, the X-LoRA model can be easily implemented for any existing large language model without a need for modifications of the underlying structure. We develop a tailored X-LoRA model that offers scientific capabilities, including forward/inverse analysis tasks and enhanced reasoning capability, focused on biomaterial analysis, protein mechanics, and design. The impact of this work includes access to readily expandable and adaptable models with strong domain knowledge and the capability to integrate across areas of knowledge. Featuring experts in biology, mathematics, reasoning, bio-inspired materials, mechanics and materials, chemistry, protein biophysics, mechanics, and quantum-mechanics based molecular properties, we conduct a series of physics-focused case studies. We examine knowledge recall, protein mechanics forward/inverse tasks, protein design, adversarial agentic modeling including ontological knowledge graph construction, and molecular design. The model is capable not only of making quantitative predictions of nanomechanical properties of proteins or quantum mechanical molecular properties but also reasoning over the results and correctly predicting likely mechanisms that explain distinct molecular behaviors.}",
    issn = {2770-9019},
    doi = {10.1063/5.0203126},
    url = {https://doi.org/10.1063/5.0203126},
    eprint = {https://pubs.aip.org/aip/aml/article-pdf/doi/10.1063/5.0203126/19964043/026119\_1\_5.0203126.pdf},
}

واجهة برمجة التطبيقات

XLoraConfig

XLoraModel

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoConfig, BitsAndBytesConfig
>>> from peft import XLoraConfig, get_peft_model, prepare_model_for_kbit_training

>>> model_config = AutoConfig.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
>>> config = XLoraConfig(
...     task_type="CAUSAL_LM",
...     hidden_size=model_config.hidden_size,
...     xlora_depth=4,
...     adapters={
...         "adapter_1": "./path/to/the/checkpoint/",
...         "adapter_2": "./path/to/the/checkpoint/",
...         "adapter_n": "./path/to/the/checkpoint/",
...     },
... )
>>> int8_config = BitsAndBytesConfig(load_in_8bit=True)
>>> model = AutoModelForCausalLM.from_pretrained(
...     "mistralai/Mistral-7B-Instruct-v0.1",
...     trust_remote_code=True,
...     attn_implementation="flash_attention_2",
...     device_map="cuda:0",
...     torch_dtype=torch.bfloat16,
...     quantization_config=int8_config,
... )
>>> model = prepare_model_for_kbit_training(model)
>>> xlora_model = get_peft_model(model, config)