# PVeRA: вероятностная адаптация случайных матриц на основе векторов [PVeRA](https://huggingface.co/papers/2512.07703) — это метод эффективной по параметрам дообучения, основанный на VeRA и относящийся к семейству адаптеров на базе LoRA. Он сохраняет крайне низкий бюджет параметров VeRA, но повышает качество работы за счёт обучения распределения латентных адаптаций. Это также позволяет моделям, адаптированным с помощью PVeRA, генерировать оценки доверительных интервалов Монте-Карло путём выборки из обученного распределения на этапе инференса. При сохранении параметров адаптера можно отказаться от хранения матриц низкого ранга, установив `save_projection=False` в `PveraConfig`. В этом случае эти матрицы будут восстановлены на основе фиксированного случайного зерна из аргумента `projection_prng_key`. Это уменьшает размер контрольной точки, но мы не можем гарантировать воспроизводимость на всех устройствах и во всех будущих версиях PyTorch. Если вы хотите обеспечить воспроизводимость, установите `save_projection=True` (это значение по умолчанию). Для обработки различных форм адаптируемых слоёв PVeRA инициализирует общие матрицы A и B максимальным требуемым размером для каждого измерения. Во время прямого прохода подматрицы A и B для данного слоя вырезаются из этих общих матриц и используются, как описано в статье. Например, адаптация двух линейных слоёв форм (100, 20) и (80, 50) создаст матрицы A и B форм (rank, 50) и (100, rank) соответственно. Затем, чтобы адаптировать слой формы (100, 20), будут извлечены подматрицы A и B форм (rank, 20) и (100, rank). В настоящее время PVeRA имеет следующее ограничение: - Поддерживаются только слои `nn.Linear`. - Латентное представление не является легкодоступным для обучения с использованием расхождения Кульбака-Лейблера. Аннотация из статьи: > В последние годы появились крупные фундаментальные модели, которые продвигают границы производительности для широкого спектра задач. Обучение или даже дообучение таких моделей требует огромных наборов данных и вычислительных ресурсов, которые часто дефицитны и дороги. Методы адаптации предлагают вычислительно эффективное решение для преодоления этих ограничений, позволяя дообучать такие модели на малых объёмах данных и вычислительных мощностях. Это достигается путём добавления новых обучаемых модулей к замороженным базовым моделям, содержащим лишь малую долю обучаемых параметров, и настройки только этих модулей на новых задачах. Недавно было показано, что адаптер VeRA превосходит другие методы параметрически эффективной адаптации за счёт использования пары замороженных случайных матриц низкого ранга, общих для всех слоёв. В данной статье мы предлагаем PVeRA — вероятностную версию адаптера VeRA, которая изменяет матрицы низкого ранга VeRA вероятностным образом. Это изменение естественным образом позволяет учитывать внутреннюю неоднозначность входных данных и допускает различные конфигурации выборки при обучении и тестировании. Комплексная оценка была проведена на бенчмарке VTAB-1k с семью адаптерами, при этом PVeRA показал лучшие результаты по сравнению с VeRA и другими адаптерами. ## Обзор бенчмарков