Guía de Model Card

Las tarjetas de modelo son un marco importante de documentación y transparencia para los modelos de aprendizaje automático. Creemos que las tarjetas de modelo tienen el potencial de servir como objetos de frontera, un único artefacto accesible para usuarios con diferentes antecedentes y objetivos al interactuar con las tarjetas de modelo, incluidos desarrolladores, estudiantes, responsables de políticas, éticos, personas afectadas por los modelos de aprendizaje automático y otras partes interesadas. Reconocemos que desarrollar un único artefacto para cumplir con fines tan multifacéticos es difícil y requiere una consideración cuidadosa de los usuarios y casos de uso potenciales. Nuestro objetivo, como parte del equipo de ciencia de Hugging Face durante los últimos meses, ha sido ayudar a operacionalizar las tarjetas de modelo hacia esa visión, teniendo en cuenta estos desafíos, tanto en Hugging Face como en la comunidad de ML en general.

Para avanzar hacia ese objetivo, es importante reconocer los esfuerzos dedicados y reflexivos que han ayudado a que las tarjetas de modelo crezcan hasta lo que son hoy, desde la adopción de las tarjetas de modelo como práctica estándar en muchas grandes organizaciones hasta el desarrollo de herramientas sofisticadas para alojar y generar tarjetas de modelo. Desde que Mitchell et al. (2018) propusieron las tarjetas de modelo, el panorama de la documentación de aprendizaje automático se ha expandido y evolucionado. Se han propuesto y desarrollado una multitud de herramientas y plantillas de documentación para datos, modelos y sistemas de ML, reflejando el increíble trabajo de cientos de investigadores, miembros de la comunidad afectada, defensores y otras partes interesadas. Las importantes discusiones sobre la relación entre la documentación de ML y las teorías del cambio en la IA responsable han generado debates continuos y, en ocasiones, divergencias. También reconocemos los desafíos a los que se enfrentan las tarjetas de modelo, que en cierta medida reflejan los desafíos de la documentación de aprendizaje automático y los esfuerzos de IA responsable en general, y vemos oportunidades por delante para ayudar a dar forma tanto a las tarjetas de modelo como a los ecosistemas en los que funcionan de manera positiva en los meses y años venideros.

Nuestro trabajo presenta una visión de dónde creemos que se encuentran actualmente las model cards y hacia dónde podrían dirigirse en el futuro, en Hugging Face y más allá. Este trabajo es una «instantánea» del estado actual de las model cards, basada en un análisis del panorama de las muchas formas en que se han materializado los artefactos de documentación de ML. Representa una perspectiva entre varias sobre tanto el estado actual como las visiones más aspiracionales de las model cards. En esta publicación de blog, resumimos nuestro trabajo, incluyendo una discusión sobre el panorama más amplio y en crecimiento de las herramientas de documentación de ML, las diversas audiencias y opiniones sobre las model cards, y posibles nuevas plantillas para el contenido de las model cards. También exploramos y desarrollamos model cards para modelos de machine learning en el contexto del Hugging Face Hub, utilizando las funciones del Hub para crear, discutir y difundir colaborativamente model cards para modelos de ML.

Con el lanzamiento de esta Guía, presentamos varios recursos nuevos y conectamos el trabajo previo realizado sobre Model Cards:

1) Una plantilla de Model Card actualizada, publicada en la biblioteca huggingface_hub en el archivo modelcard_template.md, que reúne el trabajo sobre Model Cards en el ámbito académico y en toda la industria.

2) Una plantilla de tarjeta de modelo anotada, que detalla cómo completar la tarjeta.

3) Una herramienta para crear tarjetas de modelo, para facilitar la creación de tarjetas sin necesidad de programar y para ayudar a los equipos a compartir el trabajo de las distintas secciones.

4) Un estudio de usuarios sobre el uso de Model Cards en Hugging Face

5) Un análisis del panorama y una revisión de la literatura sobre el estado del arte en la documentación de modelos.

También incluimos un Apéndice con más detalles de este trabajo.

---

Cítelo como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub