ملفات البيانات التهيئة

لا توجد قيود على كيفية هيكلة مستودعات مجموعات البيانات.

ومع ذلك، إذا كنت ترغب في أن يعرض عارض البيانات ملفات بيانات معينة، أو أن يفصل مجموعة بياناتك إلى تقسيمات تدريب/تحقق/اختبار، فستحتاج إلى تنظيم مجموعة بياناتك وفقًا لذلك. غالبًا ما يكون الأمر بسيطًا مثل تسمية ملفات البيانات وفقًا لأسماء التقسيمات، مثل train.csv وtest.csv.

ما هي التقسيمات والمجموعات الفرعية؟

عادةً ما تتكون مجموعات بيانات التعلم الآلي من تقسيمات وقد تحتوي أيضًا على مجموعات فرعية. يتألف مجموعة البيانات بشكل عام من تقسيمات (مثل train وtest) تُستخدم خلال مراحل مختلفة من تدريب النموذج وتقييمه. أما المجموعة الفرعية (المعروفة أيضًا باسم الإعداد) فهي مجموعة بيانات فرعية محتوية داخل مجموعة بيانات أكبر. وتكون المجموعات الفرعية شائعة بشكل خاص في مجموعات بيانات الكلام متعددة اللغات حيث قد توجد مجموعة فرعية مختلفة لكل لغة. إذا كنت مهتمًا بمعرفة المزيد حول التقسيمات والمجموعات الفرعية، فتفضل بالاطلاع على دليل التقسيمات والمجموعات الفرعية!

كشف التقسيمات تلقائيًا

تتمّ اكتشاف التقسيمات تلقائيًا بناءً على أسماء الملفات والمجلدات. على سبيل المثال، هذا هو مجموعة بيانات تحتوي على تقسيمات train وtest وvalidation:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

لتنظيم مجموعة بياناتك عن طريق تسمية ملفات البيانات أو المجلدات وفقًا لأسماء التقسيمات، راجع وثائق أسماء الملفات والتقسيمات والمجموعة المصاحبة من مجموعات البيانات الأمثلة.

إعداد التقسيمات والمجموعات الفرعية يدويًا

يمكنك اختيار ملفات البيانات التي تريد عرضها في Dataset Viewer لبياناتك باستخدام YAML. يكون ذلك مفيدًا إذا كنت ترغب في تحديد يدويًا أي ملف ينتمي إلى أي تقسيم (split).

يمكنك أيضًا تحديد مجموعات فرعية متعددة لبياناتك، وتمرير معلمات بناء مجموعة البيانات (مثل الفاصل المستخدم لملفات CSV).

فيما يلي مثال على تكوين يُعرّف مجموعة فرعية تُسمى “benchmark” مع تقسيم test.

configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv

راجع التوثيق الخاص بـ التكوين اليدوي لمزيد من المعلومات. كما يمكنك الاطلاع على مجموعات البيانات الأمثلة.

صيغ الملفات المدعومة

راجع صفحة مستند صيغ الملفات للعثور على قائمة الصيغ المدعومة والتوصيات الخاصة بمجموعتك البياناتية. إذا كانت مجموعة بياناتك تستخدم ملفات CSV أو TSV، يمكنك العثور على مزيد من المعلومات في مجموعات البيانات النموذجية.

أخطاء حد الحجم في Dataset Viewer (TooBigContentError)

إذا ظهر لك Error code: TooBigContentError، فإن عارض البيانات لم يتمكن من قراءة معاينة ضمن حدوده. تشمل الرسائل الشائعة Parquet error: Scan size limit exceeded وThe size of the content of the first rows exceeds the maximum supported size.

ما يمكنك القيام به:

• لملفات Parquet، استخدم مجموعات صفوف أصغر وحلّل فهرس الصفحات (write_page_index=True) حتى يتمكن العارض من قراءة ما يحتاجه فقط.
• تجنّب القيم الكبيرة جدًا في الصفوف الأولى (النصوص الطويلة جدًا، كتل JSON الكبيرة، حمولات base64). انقل الحمولات الكبيرة إلى ملفات منفصلة عندما يكون ذلك ممكنًا.
• قسّم الملفات الكبيرة جدًا إلى أجزاء أو تقسيمات أصغر، ثم أعد رفعها.
• إذا استمرت المشكلة، راجع إعداد عارض مجموعة البيانات وافتح نقاشًا على صفحة مجموعة البيانات الخاصة بك مع نص الخطأ الكامل.

مجموعات بيانات الصور والصوت والفيديو

لأُطُر بيانات تصنيف الصور/الصوت/الفيديو، يمكنك أيضًا استخدام المجلدات لتسمية فئات الصور/الصوت/الفيديو. وإذا كانت ملفات الصور/الصوت/الفيديو لديك تحتوي على بيانات وصفية (مثل التسميات التوضيحية، وصناديق الحدود، والنصوص المنقولة، إلخ)، فيمكنك وضع ملفات البيانات الوصفية بجانبها.

نوفر دليلين يمكنك الاطلاع عليهما:

• كيفية إنشاء مجموعة بيانات للصور (مجموعات بيانات أمثلة)
• كيفية إنشاء مجموعة بيانات صوتية (مجموعات بيانات أمثلة)
• كيفية إنشاء مجموعة بيانات فيديو