Estudios de usuario

Públicos y casos de uso de las tarjetas de modelo

Durante nuestra investigación sobre el panorama de las herramientas de documentación de modelos (fichas de datos, etc.), observamos cómo diferentes partes interesadas utilizan la infraestructura existente para crear una especie de ficha de modelo con información centrada en el dominio que les interesa.

Un ejemplo de esto son los ‘analistas de negocio’ o aquellos cuyo enfoque está en B2B y también en una audiencia exclusivamente interna. El enfoque estático y más manual para esta audiencia es el uso de páginas de Confluence. (si los PM escriben la página, estamos desconectando a los creadores del modelo de su consumo teórico; si los ingenieros de ML escriben la página, pueden tender a enfatizar solo un cierto tipo de información. [^1]) o una combinación propuesta de plantillas HTML (Jinja), clases de Metaflow y claves de API externas, con el fin de crear tarjetas de modelo que incluyan una perspectiva de la información del modelo necesaria para su dominio/caso de uso.

Realizamos un estudio de usuarios con el objetivo de validar una estructura de tarjeta de modelo informada por la literatura y de comprender las secciones/áreas de importancia jerarquizada desde las perspectivas de los distintos grupos de interés. El estudio buscaba validar los siguientes componentes:

• Estructura de la tarjeta de modelo

Durante nuestro examen del estado del arte de las model cards, que señaló secciones recurrentes en los ~100 modelos más descargados del hub que tenían model cards. A partir de este análisis, catalogamos las secciones y la información recurrentes más frecuentes en las model cards; esto, junto con la estructura de la model card de Bloom, nos llevó a la versión inicial de una estructura estándar para las model cards.

A medida que comenzábamos a estructurar nuestros estudios de usuario, se utilizaron dos variaciones de tarjetas de modelo, que hacían uso de la estructura inicial de la tarjeta de modelo, como demostraciones interactivas. El objetivo de estas demostraciones era comprender no solo las diferentes perspectivas de los usuarios sobre los elementos visuales de las tarjetas de modelo, sino también el contenido presentado a los usuarios. El resultado {desired} nos permitiría comprender mejor qué hace que una tarjeta de modelo sea más fácil de leer, manteniendo cierto nivel de interactividad dentro de las tarjetas de modelo, todo ello mientras se presenta la información de una manera fácilmente comprensible [accesible].

• Perspectivas de las partes interesadas

Dado que distintas personas, con diferentes antecedentes técnicos, podrían colaborar en un modelo y, posteriormente, en la tarjeta del modelo, buscamos validar la necesidad de las perspectivas de los distintos interesados. Basándonos en la facilidad de uso para escribir las diferentes secciones de la tarjeta del modelo y en las secciones que se leerían primero

Los participantes clasificaron las diferentes secciones de las tarjetas de modelo desde la perspectiva de quien lee una tarjeta de modelo y luego desde la perspectiva de quien la redacta. Se aplicó un esquema de ordenación (1 siendo el peso más alto y 10 el más bajo) a las diferentes secciones que un usuario suele leer primero en una tarjeta de modelo y a las secciones de una tarjeta de modelo que un autor encontraría más fáciles de escribir.

Resumen de las respuestas a la encuesta de estudios de usuario

Nuestros estudios de usuarios aportaron mayor claridad sobre las secciones que distintos perfiles de usuario/interesados encontrarían más difíciles o más fáciles de escribir.

Los resultados ilustrados a continuación muestran que, si bien la sección de Sesgos, Riesgos y Limitaciones ocupa el segundo lugar tanto para quienes escriben las tarjetas de modelo como para quienes las leen en cuanto a En qué orden escriben la tarjeta de modelo y qué sección consultan primero, respectivamente, también se señala como la sección más desafiante/larga de escribir. Esto respaldó la necesidad de evaluar aún más las secciones de Sesgos, Riesgos y Limitaciones para ayudar a redactar esta sección decisiva/imprescindible.

Estas plantillas se utilizaron luego para generar las tarjetas de modelo de los 200 modelos más descargados de Hugging Face (HF).

• Primero, extraímos todos los modelos de Hugging Face en el hub y, en particular, las subsecciones sobre Limitaciones y Sesgo (las subsecciones de “Riesgos” en gran medida no estaban presentes).
• Basándose en las entradas que se utilizaron de forma más continua y con un mayor número de descargas de modelos, agrupadas por tipo de modelo, la herramienta proporciona texto sugerido en las secciones de Sesgos, Riesgos y Limitaciones. También se sugiere un texto predeterminado si el tipo de modelo no se especifica.

Con esta información, volvimos a nuestro análisis de todas las tarjetas de modelos en el hub, combinado con sugerencias de otros investigadores y colegas de HF y con investigación adicional sobre el tipo de información solicitada que podíamos proporcionar a los usuarios mientras creaban tarjetas de modelos. Estos textos solicitados por defecto nos permitieron cumplir los objetivos:

1) Para quienes no han creado tarjetas de modelo antes o que no suelen crear una tarjeta de modelo ni ningún otro tipo de documentación del modelo para sus modelos, el texto sugerido permite a estos usuarios crear fácilmente una tarjeta de modelo. Esto, a su vez, aumentó el número de tarjetas de modelo creadas.

2) Los usuarios que ya escriben tarjetas de modelo: el texto sugerido los invita a añadir más contenido a su tarjeta de modelo, desarrollando aún más el contenido y el estándar de las tarjetas de modelo.

Detalles del estudio de usuario

Seleccionamos personas de diversos orígenes relevantes para el aprendizaje automático y la documentación de modelos. A continuación, detallamos su demografía, las preguntas que se les hicieron y las conclusiones correspondientes derivadas de sus respuestas. Los detalles completos de las respuestas están disponibles en Apéndice A.

Demografía de los encuestados

• Asesor Jurídico de Tecnología y Asuntos Regulatorios
• Ingeniero de ML (x2)
• Developer Advocate
• Asistente Ejecutivo
• Líder de monetización
• Policy Manager/Investigador de IA
• Prácticas de investigación

¿Cuáles son las piezas clave de información que deseas o necesitas conocer sobre un modelo al interactuar con un modelo de aprendizaje automático?

Conclusión:

• Los encuestados priorizaron la información sobre la tarea o el dominio del modelo (x3), los datos de entrenamiento o el procedimiento de entrenamiento (x2), cómo usar el modelo (con código) (x2), los sesgos y las limitaciones, y la licencia del modelo

Retroalimentación sobre formatos específicos de tarjetas de modelo

Formato 1:

Tarjeta actual del modelo distilbert/distilgpt2 en el Hub

Conclusiones:

• Los encuestados consideraron que este formato de tarjeta de modelo es conciso, completo y legible.
• No hubo consenso sobre las secciones desplegables (a algunos les gustaban y querían más, a otros no les gustaban).
• Algunos encuestados indicaron que “Risks and Limitations” debería ir junto a “Out of Scope Uses”

Formato 2:

El espacio de Interactive Model Card de Nazneen Rajani

Conclusiones:

• Si bien a algunos encuestados les gustó mucho este formato, la mayoría lo consideró abrumador o una sobrecarga de información. Varios sugirieron que podría ser una buena herramienta para complementar una tarjeta de modelo base, dirigida a audiencias más avanzadas.

Formato 3:

El Semi-Interactive Model Card Space de Ezi Ozoani

Conclusiones:

• Varios encuestados encontraron este formato abrumador, pero en general lo consideraron menos abrumador que el formato 2.
• Varios encuestados no coincidieron con el diseño actual y proporcionaron comentarios específicos sobre qué secciones deberían priorizarse en cada columna.

Clasificación de secciones

Ordenado según el ranking promedio. Las flechas se muestran en relación con el orden de la sección asociada en la pregunta de la encuesta.

Conclusiones:

• Al redactar tarjetas de modelo, los encuestados indicaron generalmente que escribirían la tarjeta de modelo en el mismo orden en que se enumeraban las secciones en la pregunta de la encuesta.
• Al clasificar las secciones de la tarjeta del modelo según la facilidad o rapidez de redacción, el consenso fue que las secciones sobre usos y limitaciones y riesgos eran las más difíciles.
• Al leer las tarjetas de modelos, los encuestados indicaron que revisaban las secciones de las tarjetas en un orden que se acercaba al orden en que las secciones se listaban en la pregunta de la encuesta, aunque no coincidía perfectamente.

Consulte el Apéndice

Agradecimientos

Queremos reconocer y agradecer a Bibi Ofuya por la creación de sus preguntas y por su orientación sobre el orden y la presentación centrados en el usuario durante los estudios de usuario.

[^1]: See https://towardsdatascience.com/dag-card-is-the-new-model-card-70754847a111

---

Cítelo como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub