Veri kümelerini yükleme

Hub, topluluk tarafından derlenen ve araştırma amaçlı veri setlerinden oluşan kapsamlı bir koleksiyona ev sahipliği yapar. ML topluluğunun büyümesine katkıda bulunmak ve herkes için ilerlemeyi hızlandırmak için veri setinizi Hub'a paylaşmanızı öneririz. Tüm katkılar memnuniyetle karşılanır; bir veri seti eklemek sadece sürükle ve bırak kadar kolaydır!

Henüz bir hesabınız yoksa Hugging Face Hub hesabı oluşturarak başlayın.

Hub arayüzü kullanarak yükleme

Hub'ın web tabanlı arayüzü, herhangi bir geliştirici deneyimine sahip olmayan kullanıcıların bir veri seti yüklemesine olanak tanır.

Depo oluşturun

Bir depo, revizyon geçmişi dahil olmak üzere tüm veri seti dosyalarınızı barındırır ve bu sayede birden fazla veri seti sürümünün saklanmasını mümkün kılar.

1. Profilinize tıklayın ve yeni bir veri seti deposu oluşturmak için Yeni Veri Seti seçeneğini seçin.
2. Veri setiniz için bir ad seçin ve veri setinin herkese açık mı yoksa özel mi olduğunu belirleyin. Herkese açık bir veri seti herkes tarafından görüntülenebilirken, özel bir veri seti yalnızca siz veya organizasyonunuzun üyeleri tarafından görüntülenebilir.

Veri setini yükle

1. Bir depo oluşturduktan sonra, bir dosya eklemek için Files and versions sekmesine gidin. Veri seti dosyalarınızı yüklemek için Add file seçeneğini seçin. .csv, .mp3 ve .jpg gibi birçok metin, ses, görüntü ve diğer veri uzantılarını destekliyoruz (tam File formats listesine bakın).

2. Veri seti dosyalarınızı sürükleyip bırakın.

3. Veri seti dosyalarınızı yükledikten sonra, bu dosyalar veri seti deponuzda saklanır.

Bir Dataset kartı oluşturun

Bir Veri seti kartı eklemek, kullanıcıların veri setinizi bulmasına ve onu sorumlu bir şekilde nasıl kullanacaklarını anlamasına yardımcı olmak açısından son derece değerlidir.

1. Bir Dataset card oluşturmak için Create Dataset Card düğmesine tıklayın. Bu düğme, deposunuzda bir README.md dosyası oluşturur.

2. En üstte, lisans, dil ve görev kategorileri gibi seçeneklerden oluşan Metadata UI bileşenini göreceksiniz. Bunlar, veri setinizin Hub'da kullanıcılar tarafından keşfedilmesine yardımcı olmak için en önemli etiketlerdir (uygun olduğunda). Bir alan için bir seçenek seçtiğinizde, bu seçenek otomatik olarak veri seti kartının en üstüne eklenir.

   İsteğe bağlı olanlar dahil, veri setiniz için faydalı olanları seçmenize yardımcı olmak üzere annotations_creators gibi izin verilen etiketlerin tam bir listesini içeren Dataset Card spesifikasyonlarını da inceleyebilirsiniz.

3. Veri setinizi topluluğa tanıtmak ve kullanıcıların içeriğin ne olduğunu anlamalarına yardımcı olmak için veri seti belgelendirmenizi Dataset Card'a yazın: kullanım senaryoları ve kısıtlamalar nelerdir, veri nereden gelmektedir, önemli etik hususlar nelerdir ve diğer ilgili ayrıntılar.

   Düzenleyicinin üstündeki Veri seti kartı şablonu içe aktar bağlantısına tıklayarak bir veri seti kartı şablonu otomatik olarak oluşturabilirsiniz. İyi bir Veri Seti kartının nasıl görünmesi gerektiğine dair ayrıntılı bir örnek için CNN DailyMail Veri Seti kartı'na göz atın.

huggingface_hub istemci kitaplığı kullanılarak

huggingface_hub kütüphanesindeki zengin özellik seti, Hub'a depolar oluşturma ve veri setleri yükleme dahil olmak üzere depoları yönetmenizi sağlar. Daha fazla bilgi için istemci kütüphanesinin belgelerine göz atın.

Diğer kütüphaneleri kullanma

🤗 Datasets, Pandas, Polars, Dask, DuckDB veya Daft gibi bazı kütüphaneler dosyaları Hub'a yükleyebilir. Daha fazla bilgi için Datasets Hub tarafından desteklenen kütüphaneler listesine bakın.

Git Kullanımı

Veri seti depoları Git depoları olduğu için, veri dosyalarınızı Hub'a Git ile gönderebilirsiniz. git CLI aracını kullanarak veri setlerinizi commit'leyip göndermek hakkında bilgi edinmek için Depolarla Başlangıç kılavuzunu izleyin.

Veri kümelerini içe aktar

Verileriniz veritabanlarında, bulut depolamada veya API'lerin arkasında bulunuyorsa, bunları Hugging Face'e hazır kullanıma uygun veri kümeleri olarak aktarabilirsiniz.

Daha fazla bilgi için veri setlerini içe aktarma belgelerini inceleyin.

Dosya biçimleri

Hub yerel olarak birden çok dosya biçimini destekler:

• Parquet (.parquet)
• CSV (.csv, .tsv)
• JSON Satırları, JSON (.jsonl, .json)
• Arrow akış ve IPC biçimleri (.arrow)
• Metin (.txt)
• Görseller (.png, .jpg, vb.)
• Ses (.wav, .mp3, vb.)
• Video (.mp4, .mov, .avi, vb.)
• PDF (.pdf)
• WebDataset (.tar)
• Lance (.lance)

ZIP (.zip), GZIP (.gz), ZSTD (.zst), BZ2 (.bz2), LZ4 (.lz4) ve LZMA (.xz) kullanılarak sıkıştırılmış dosyaları destekler.

Görsel ve ses dosyalarının ek meta veri dosyaları da bulunabilir. Görsel ve ses veri kümeleri için Veri dosyaları yapılandırması ile CSV, TSV ve görseller için örnek veri kümeleri koleksiyonlarını inceleyin.

Hub özelliklerinin tamamından yararlanmak için dosyalarınızı bu biçimlere dönüştürmek isteyebilirsiniz. Diğer biçimler ve yapılar Hub tarafından tanınmayabilir.

Hangi dosya biçimini kullanmalıyım?

Çoğu veri seti türü için, verimli sıkıştırması, zengin veri tipleri ve bu formatı optimize edilmiş okuma ve toplu işlemlerle destekleyen çeşitli araçlar nedeniyle Parquet önerilen formattır. Alternatif olarak, tabular veriler için CSV veya JSON Lines/JSON kullanılabilir (iç içe geçmiş veriler için JSON Lines tercih edilmelidir). Parquet'e göre ayrıştırması daha kolay olsa da, bu formatlar birkaç GB'tan büyük veriler için önerilmez. Görüntü ve ses veri setleri için, bireysel dosyalara erişimin kolay olması nedeniyle çoğu kullanım senaryosunda ham dosyaları yüklemek en pratik çözümdür. Büyük ölçekli görüntü ve ses veri setleri için akış işlemlerinde, bireysel dosyalara erişimin getirdiği yükten kaçınmak için ham görüntü ve ses dosyaları yerine WebDataset tercih edilmelidir. Ancak analitik, veri filtreleme veya meta veri ayrıştırma gibi daha genel kullanım senaryolarında, büyük ölçekli görüntü ve ses veri setleri için önerilen seçenek Parquet'tir.

Data Studio

Data Studio, verileri indirmeden önce aslında nasıl göründüklerini öğrenmek için kullanışlıdır. Tüm herkese açık veri kümeleri için varsayılan olarak etkinleştirilmiştir. PRO kullanıcısının veya Team or Enterprise organizasyonunun sahip olduğu özel veri kümeleri için de kullanılabilir.

Veri setinizi yükledikten sonra, Veri Seti Görüntüleyicisinin verilerinizi doğru şekilde gösterdiğinden emin olun veya Veri Seti Görüntüleyicisini Yapılandırın.

Büyük ölçekli veri setleri

Hugging Face Hub, büyük ölçekli veri setlerini destekler; bunlar genellikle Parquet (ör. 🤗 Datasets ile push_to_hub() kullanılarak) veya WebDataset biçiminde yüklenir.

Büyük klasörleri yüklemek için huggingface_hub kütüphanesinden upload_folder() veya hf upload kullanın: bu yöntemler, yükleme işlemini birden çok commit'e böler ve kesinti durumunda otomatik olarak kaldığı yerden devam eder.

Büyük bir klasörü nasıl yükleyeceğiniz, büyük yüklemeler için ipuçları ve püf noktaları ve depo depolama sınırları ve önerileri hakkında bilgi edinin.

Update on GitHub