Archivos de datos Configuración

No hay restricciones sobre cómo estructurar los repositorios de conjuntos de datos.

Sin embargo, si quieres que el Dataset Viewer muestre ciertos archivos de datos o que separe tu conjunto de datos en divisiones de entrenamiento/validación/prueba, debes estructurar tu conjunto de datos en consecuencia. A menudo es tan simple como nombrar tus archivos de datos según los nombres de sus divisiones, por ejemplo, train.csv y test.csv.

¿Qué son las divisiones y los subconjuntos?

Los conjuntos de datos de aprendizaje automático suelen tener divisiones y también pueden tener subconjuntos. Un conjunto de datos generalmente está compuesto por divisiones (p. ej. train y test) que se utilizan durante las diferentes etapas de entrenamiento y evaluación de un modelo. Un subconjunto (también llamado configuración) es un subconjunto de datos contenido dentro de un conjunto de datos más grande. Los subconjuntos son especialmente comunes en conjuntos de datos de voz multilingües, donde puede haber un subconjunto diferente para cada idioma. Si te interesa aprender más sobre divisiones y subconjuntos, consulta la guía Divisiones y subconjuntos.

Detección automática de divisiones

Las divisiones se detectan automáticamente en función de los nombres de archivos y directorios. Por ejemplo, este es un conjunto de datos con divisiones train, test y validation:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

Para estructurar tu conjunto de datos nombrando tus archivos o directorios de datos según los nombres de sus divisiones, consulta la documentación de File names and splits y la colección de conjuntos de datos de ejemplo.

Configuración manual de divisiones y subconjuntos

Puedes elegir los archivos de datos que se mostrarán en el Dataset Viewer para tu conjunto de datos usando YAML. Es útil si deseas especificar manualmente qué archivo va en cada split.

También puede definir varios subconjuntos para su conjunto de datos y pasar parámetros de construcción del conjunto de datos (por ejemplo, el separador a usar para archivos CSV).

A continuación se muestra un ejemplo de una configuración que define un subconjunto llamado “benchmark” con una división test.

configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv

Consulte la documentación sobre Configuración manual para obtener más información. Consulte también los conjuntos de datos de ejemplo.

Formatos de archivo admitidos

Consulte la página de documentación Formatos de archivo para encontrar la lista de formatos compatibles y recomendaciones para su conjunto de datos. Si su conjunto de datos utiliza archivos CSV o TSV, puede encontrar más información en los conjuntos de datos de ejemplo.

Errores de límite de tamaño en Dataset Viewer (TooBigContentError)

Si ves Error code: TooBigContentError, el visor de conjuntos de datos no pudo leer una vista previa dentro de sus límites. Los mensajes habituales incluyen Parquet error: Scan size limit exceeded y The size of the content of the first rows exceeds the maximum supported size.

Lo que puedes hacer:

• Para los archivos Parquet, usa grupos de filas más pequeños e incluye un índice de páginas (write_page_index=True) para que el Viewer pueda leer solo lo que necesita.
• Evite valores muy grandes en las primeras filas (cadenas muy largas, blobs JSON grandes, cargas base64). Mueva las cargas grandes a archivos separados cuando sea posible.
• Divida los archivos muy grandes en fragmentos o divisiones más pequeños y vuelva a subirlos.
• Si el problema persiste, revisa Configure the Dataset Viewer y abre una discusión en la página de tu conjunto de datos con el texto completo del error.

Conjuntos de datos de imágenes, audio y video

Para los conjuntos de datos de clasificación de imágenes/audios/vídeos, también puedes usar directorios para nombrar las clases de imágenes/audios/vídeos. Y si tus archivos de imágenes/audios/vídeos tienen metadatos (p. ej. descripciones, cajas delimitadoras, transcripciones, etc.), puedes tener archivos de metadatos junto a ellos.

Ponemos a su disposición dos guías que puede consultar:

• Cómo crear un conjunto de datos de imágenes (conjuntos de datos de ejemplo)
• Cómo crear un conjunto de datos de audio (conjuntos de datos de ejemplo)
• Cómo crear un conjunto de datos de video