El resumen del artículo es:

Un diseño modular fomenta que los modelos neuronales desvinculen y recombinen diferentes facetas del conocimiento para generalizar de manera más sistemática a nuevas tareas. En este trabajo, asumimos que cada tarea está asociada con un subconjunto de habilidades discretas latentes de un inventario (posiblemente pequeño). A su vez, las habilidades corresponden a parametrizaciones de modelo eficientes en parámetros (esparzas / de bajo rango). Al aprender conjuntamente estas y una matriz de asignación de tareas a habilidades, la red para cada tarea se instancia como el promedio de los parámetros de las habilidades activas. Para favorecer particiones suaves no triviales de habilidades entre tareas, experimentamos con una serie de sesgos inductivos, como un prior de Indian Buffet Process y una tasa de aprendizaje de doble velocidad. Evaluamos nuestro modelo de habilidades latentes en dos escenarios principales: 1) aprendizaje por refuerzo multitarea para el seguimiento de instrucciones fundamentadas en 8 niveles de la plataforma BabyAI; y 2) adaptación few-shot de modelos generativos de texto a texto preentrenados en CrossFit, un benchmark que comprende 160 tareas de NLP. Encontramos que el diseño modular de una red aumenta significativamente la eficiencia de muestreo en el aprendizaje por refuerzo y la generalización few-shot en el aprendizaje supervisado, en comparación con las líneas base con parámetros totalmente compartidos, específicos de la tarea o generados condicionalmente, donde el conocimiento está entrelazado entre tareas. Además, mostramos cómo las habilidades discretas ayudan a la interpretabilidad, ya que generan una jerarquía explícita de tareas.

El resumen del artículo es:

El ajuste fino eficiente en parámetros (PEFT) para la generalización entre tareas consiste en preentrenar adaptadores en un conjunto de entrenamiento multitarea antes de la adaptación few-shot a las tareas de prueba. Polytropon [Ponti et al., 2023] (Poly) aprende conjuntamente un inventario de adaptadores y una función de enrutamiento que selecciona un subconjunto (de tamaño variable) de adaptadores para cada tarea durante tanto el preentrenamiento como la adaptación few-shot. En este artículo, investigamos el papel que desempeña el enrutamiento de adaptadores en su éxito y diseñamos nuevas variantes basadas en nuestros hallazgos. En primer lugar, partimos de la intuición de que un enrutamiento más granular proporciona mayor expresividad. Por lo tanto, proponemos MHR (Multi-Head Routing), que combina subconjuntos de parámetros de adaptadores y supera a Poly con un presupuesto de parámetros comparable; al ajustar solo la función de enrutamiento y no los adaptadores (MHR-z), logramos un rendimiento competitivo con una eficiencia extrema de parámetros. En segundo lugar, descubrimos que el rendimiento de Poly/MHR es el resultado de una mejor optimización multitarea, en lugar de sesgos inductivos modulares que facilitan la recombinación de adaptadores y la adaptación local, como se había hipotetizado previamente. De hecho, encontramos que MHR presenta una mayor alineación de gradientes entre tareas que cualquier otro método. Dado que esto implica que el enrutamiento solo es crucial durante el preentrenamiento multitarea, proponemos MHR-mu, que descarta el enrutamiento y ajusta la media de los adaptadores preentrenados durante la adaptación few-shot. Esto establece MHR-mu como un método efectivo para el ajuste fino de un solo adaptador..