BOFT

Orthogonal Butterfly (BOFT) là một phương pháp tổng quát được thiết kế để tinh chỉnh các mô hình nền tảng. Nó cải thiện hiệu quả tham số của quy trình tinh chỉnh — Orthogonal Finetuning (OFT), bằng cách lấy cảm hứng từ biến đổi Fourier nhanh Cooley-Tukey, cho thấy kết quả khả quan khi tinh chỉnh các mô hình nền tảng khác nhau, bao gồm các vision transformer lớn, các mô hình ngôn ngữ lớn và các mô hình khuếch tán từ văn bản sang hình ảnh.

Tóm tắt từ bài báo là:

Các mô hình nền tảng lớn đang trở nên phổ biến, nhưng việc huấn luyện chúng từ đầu lại có chi phí quá cao. Do đó, việc thích ứng hiệu quả các mô hình mạnh mẽ này cho các tác vụ hạ nguồn ngày càng trở nên quan trọng. Trong bài báo này, chúng tôi nghiên cứu một phương pháp tinh chỉnh có nguyên tắc — Tinh chỉnh trực giao (OFT) — cho việc thích ứng tác vụ hạ nguồn. Mặc dù thể hiện khả năng khái quát hóa tốt, OFT vẫn sử dụng một số lượng tham số có thể huấn luyện khá lớn do tính đa chiều cao của các ma trận trực giao. Để giải quyết vấn đề này, chúng tôi bắt đầu bằng cách xem xét OFT từ góc độ truyền tải thông tin, sau đó xác định một số yêu cầu chính giúp đạt được hiệu quả tham số tốt hơn. Lấy cảm hứng từ cách thuật toán biến đổi Fourier nhanh Cooley-Tukey cho phép truyền tải thông tin hiệu quả, chúng tôi đề xuất một tham số hóa trực giao hiệu quả sử dụng cấu trúc bướm. Chúng tôi áp dụng tham số hóa này vào OFT, tạo ra một phương pháp tinh chỉnh hiệu quả về tham số mới, được gọi là Bướm trực giao (BOFT). Bằng cách bao hàm OFT như một trường hợp đặc biệt, BOFT giới thiệu một khung tinh chỉnh trực giao tổng quát. Cuối cùng, chúng tôi tiến hành một nghiên cứu thực nghiệm rộng rãi về việc thích ứng các biến đổi thị giác lớn, các mô hình ngôn ngữ lớn và các mô hình khuếch tán từ văn bản sang hình ảnh cho nhiều tác vụ hạ nguồn khác nhau trong thị giác và ngôn ngữ.

BOFT tập trung vào việc bảo toàn khả năng sinh của mô hình được huấn luyện trước, đồng thời đạt hiệu quả tham số cao hơn đáng kể so với OFT tiêu chuẩn. Giống như OFT, BOFT duy trì cùng một độ tương đồng cosine (năng lượng siêu cầu) giữa tất cả các cặp neuron trong một lớp bằng cách áp dụng phép biến đổi trực giao lên ma trận trọng số đã được huấn luyện trước, đảm bảo các mối quan hệ ngữ nghĩa giữa các neuron được bảo toàn.

Thay vì sử dụng một ma trận trực giao dạng khối chéo, BOFT phân tích phép biến đổi trực giao thành tích của các ma trận bướm thưa (ban đầu được giới thiệu trong Cooley–Tukey FFT). Khác với các phép quay dạng khối chéo của OFT, vốn chỉ trộn lẫn các đầu vào trong từng khối, cấu trúc bướm đảm bảo rằng mọi đầu vào đều có thể ảnh hưởng đến mọi đầu ra, tạo ra sự kết nối dày đặc với chỉ O(d log d) tham số. Việc phân tích này giữ nguyên khả năng biểu diễn trong khi giảm đáng kể số lượng tham số so với OFT (với cái giá là thời gian tính toán).

Trong thực tế, BOFT nhân mỗi ma trận trọng số đã được huấn luyện trước với một chuỗi các nhân tử trực giao có cấu trúc bướm, cho phép thực hiện các phép xoay neuron hiệu quả và biểu cảm. Điều này khiến BOFT phù hợp cho các tác vụ sinh có thể kiểm soát và các nhiệm vụ mà việc duy trì biểu diễn chủ đề của mô hình đã được huấn luyện trước là yếu tố then chốt, đồng thời có thể mở rộng sang các mô hình lớn hơn với chi phí bộ nhớ và tính toán thấp hơn.

BOFT có thể được áp dụng cho bất kỳ tập con nào của các ma trận trọng số trong mạng nơ-ron để giảm số lượng tham số có thể huấn luyện. Với các lớp đích để tiêm các tham số BOFT, số lượng tham số có thể huấn luyện có thể được xác định dựa trên kích thước của các ma trận trọng số.

Tổng quan về benchmark

Gộp trọng số BOFT vào mô hình cơ sở

Tương tự như LoRA, các trọng số được học bởi BOFT có thể được tích hợp vào các ma trận trọng số đã được huấn luyện trước bằng cách sử dụng hàm [~BOFTModel.merge_and_unload(). Hàm này kết hợp trọng số của adapter với mô hình cơ bản, cho phép bạn sử dụng mô hình đã được kết hợp mới như một mô hình độc lập.

Điều này hoạt động vì trong quá trình huấn luyện, ma trận trọng số trực giao (R trong sơ đồ ở trên) và các ma trận trọng số được huấn luyện trước là tách biệt. Nhưng khi huấn luyện hoàn tất, các trọng số này thực sự có thể được gộp (nhân) lại thành một ma trận trọng số mới tương đương.

Ví dụ sử dụng BOFT

Để xem một ví dụ về việc áp dụng phương pháp BOFT cho các tác vụ downstream khác nhau, vui lòng tham khảo các hướng dẫn sau:

Hãy xem các hướng dẫn từng bước sau đây về cách tinh chỉnh một mô hình với BOFT:

• Chỉnh tinh Dreambooth với BOFT
• Điều chỉnh tinh chỉnh tạo có kiểm soát với BOFT (ControlNet)

Đối với tác vụ phân loại hình ảnh, bạn có thể khởi tạo cấu hình BOFT cho một mô hình DinoV2 như sau:

import transformers
from transformers import AutoModelForSeq2SeqLM, BOFTConfig
from peft import BOFTConfig, get_peft_model

config = BOFTConfig(
    boft_block_size=4,
    boft_n_butterfly_factor=2,
    target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
    boft_dropout=0.1,
    bias="boft_only",
    modules_to_save=["classifier"],
)

model = transformers.Dinov2ForImageClassification.from_pretrained(
    "facebook/dinov2-large",
    num_labels=100,
)

boft_model = get_peft_model(model, config)

API

BOFTConfig

BOFTModel

>>> import transformers
>>> from peft import BOFTConfig, get_peft_model

>>> config = BOFTConfig(
...     boft_block_size=8,
...     boft_n_butterfly_factor=1,
...     target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
...     boft_dropout=0.1,
...     bias="boft_only",
...     modules_to_save=["classifier"],
... )

>>> model = transformers.Dinov2ForImageClassification.from_pretrained(
...     "facebook/dinov2-large",
...     num_labels=100,
... )
>>> boft_model = get_peft_model(model, config)