RandLora: параметрически эффективная дообучение больших моделей с полным рангом

RandLora — это метод эффективной по параметрам дообучения, похожий на LoRA и VeRA, но выполняющий обновления полного ранга для повышения качества. RandLora может быть особенно полезен при адаптации больших моделей к сложным задачам, требующим сложных обновлений, при сохранении параметрической эффективности LoRA. Обновление полного ранга в RandLora достигается за счёт линейного масштабирования случайных баз. Случайные базы представляют собой набор нескольких матриц низкого ранга, сумма рангов которых больше или равна полному рангу матриц параметров. Обучаемыми параметрами RandLora являются две диагональные матрицы (векторы), которые умножаются на правые случайные базы низкого ранга, аналогично обновлению в VeRA. Для поддержания низкого потребления памяти RandLora использует собственную функцию, которая предотвращает сохранение в памяти ненужных баз для обратного распространения ошибки.

RandLora отличается тем, что, в отличие от других PEFT-алгоритмов, похожих на LoRA, увеличение случайных базовых рангов RandLora приводит к увеличению количества обучаемых параметров. Поскольку произведение числа баз на ранг баз в RandLora является константой, уменьшение ранга увеличивает количество случайных баз, а следовательно, и количество обучаемых диагональных баз, специфичных для каждой базы.

Поскольку снижение ранга случайных баз RandLora приводит к увеличению их количества, обучение RandLora может оказаться медленнее, чем обучение LoRA, при очень малых рангах: как правило, ранги ниже 4 приводят к значительному увеличению времени обучения. На инференс это не влияет, так как адаптеры RandLora можно объединить с предобученными матрицами весов.

RandLora также поддерживает обучение с использованием разреженных тернарных случайных баз (содержащих только -1, 0 и 1). Эти базы описаны в работах Bingham et al. и Ping et al. и теоретически могут использоваться для снижения вычислительных затрат за счёт выполнения агрегаций вместо матричных умножений при создании обновления весов. В настоящее время это не поддерживается. Хотя это пока не снижает вычислительные затраты, использование разреженных случайных баз в RandLora может уменьшить переобучение в некоторых случаях. Пользователям, заинтересованным в использовании разреженных тернарных баз, рекомендуется опция sparse, а не very_sparse, которая может снизить производительность.

Аналогично VeRA, при сохранении параметров RandLora можно отказаться от хранения матриц низкого ранга, установив save_projection=False в VeraConfig. В этом случае эти матрицы будут восстановлены на основе фиксированного случайного зерна из аргумента projection_prng_key. Это уменьшает размер контрольной точки, но мы не можем гарантировать воспроизводимость на всех устройствах и во всех будущих версиях PyTorch. Если вы хотите обеспечить воспроизводимость, установите save_projection=True (это значение по умолчанию).

Как и в Vera, для обработки различных форм адаптируемых слоёв RandLora инициализирует общие матрицы A и B максимальным требуемым размером для каждого измерения. Во время прямого прохода подматрицы A и B для данного слоя вырезаются из этих общих матриц и используются, как описано в статье. Например, адаптация двух линейных слоёв форм (100, 20) и (80, 50) создаст матрицы A и B форм (rank, 50) и (100, rank) соответственно. Затем, чтобы адаптировать слой формы (100, 20), будут извлечены подматрицы A и B форм (rank, 20) и (100, rank).

В настоящее время RandLora имеет следующее ограничение:

• Поддерживаются только слои nn.Linear.

Аннотация из статьи:

Метод адаптации низкого ранга (LoRA) и его варианты продемонстрировали впечатляющие результаты в сокращении количества обучаемых параметров и требований к памяти для больших трансформерных сетей при сохранении качества дообучения. Однако низкоранговый характер обновления весов по своей природе ограничивает выразительную способность дообученных моделей, что потенциально может ухудшить их производительность на сложных задачах. Это поднимает критически важный вопрос: когда наблюдается разрыв в производительности между LoRA и стандартным дообучением, является ли его причиной уменьшенное количество обучаемых параметров или недостаточный ранг? В данной статье мы стремимся ответить на этот вопрос, представив RandLora — параметрически эффективный метод, выполняющий обновления полного ранга с использованием обучаемых линейных комбинаций низкоранговых необучаемых случайных матриц. Наш метод ограничивает количество обучаемых параметров, сужая оптимизацию до диагональных матриц масштабирования, применяемых к фиксированным случайным матрицам. Это позволяет нам эффективно преодолеть ограничения низкого ранга, сохраняя при этом параметрическую и память-эффективность во время обучения. Проведя обширные эксперименты на бенчмарках в области зрения, языка и зрительно-языковых задач, мы систематически оценили ограничения LoRA и существующих методов со случайным базисом. Наши результаты показывают, что обновления полного ранга полезны как для задач зрения, так и для задач языка по отдельности, а для зрительно-языковых задач — еще более значимо: RandLora значительно сокращает, а иногда и полностью устраняет разрыв в производительности между стандартным дообучением и LoRA, демонстрируя свою эффективность.

Обзор бенчмарков

API

RandLoraConfig

RandLoraModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import RandLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = RandLoraConfig(r=32)
>>> model = get_peft_model(base_model, config)