Transformers documentation
Komunitas
Mulai
Kelas dasar
Model
Preprocessor
Inferensi
API Pipeline
Generate API
Optimasi
Berbicara dengan model
Serving
Pelatihan
Perangkat keras
Kuantisasi
Integrasi ekosistem
Sumber daya
Resep tugas
API
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
Komunitas
Halaman ini menghimpun sumber daya seputar 🤗 Transformers yang dikembangkan oleh komunitas.
Sumber daya komunitas
| Sumber daya | Deskripsi | Penulis |
|---|---|---|
| Kartu Kilat Glosarium Hugging Face Transformers | Seperangkat kartu flash berdasarkan Glosarium Dokumentasi Transformers yang telah disusun dalam format yang mudah dipelajari/direvisi menggunakan Anki, aplikasi open source lintas platform yang dirancang khusus untuk retensi pengetahuan jangka panjang. Lihat video pengantar tentang cara menggunakan kartu flash ini. | Darigov Research |
Notebook komunitas
| Notebook | Deskripsi | Penulis | |
|---|---|---|---|
| Menyesuaikan Transformer yang telah dilatih sebelumnya untuk menghasilkan lirik | Cara membuat lirik lagu dengan gaya artis favorit Anda dengan melakukan fine-tuning pada model GPT-2 | Aleksey Korshuk | |
| Melatih T5 di TPU | Cara melatih T5 pada SQUAD dengan Transformers dan Nlp | Suraj Patil | |
| Menyesuaikan T5 untuk Klasifikasi dan Pilihan Ganda | Cara melakukan fine-tuning T5 untuk tugas klasifikasi dan pilihan ganda menggunakan format teks-ke-teks dengan PyTorch Lightning | Suraj Patil | |
| Menyesuaikan DialoGPT pada Dataset dan Bahasa Baru | Cara melakukan fine-tuning model DialoGPT pada dataset baru untuk chatbot percakapan open-dialog | Nathan Cooper | |
| Modeling Urutan Panjang dengan Reformer | Cara melatih pada sekuens sepanjang 500.000 token dengan Reformer | Patrick von Platen | |
| Menyesuaikan BART untuk Ringkasan | Cara melakukan fine-tuning BART untuk summarization dengan fastai menggunakan blurr | Wayde Gilliam | |
| Menyesuaikan Transformer yang telah dilatih sebelumnya pada tweet siapa pun | Cara membuat cuitan bergaya akun Twitter favorit Anda dengan fine-tuning model GPT-2 | Boris Dayma | |
| Optimalkan model 🤗 Hugging Face dengan Weights & Biases | Tutorial lengkap yang menampilkan integrasi W&B dengan Hugging Face | Boris Dayma | |
| Pretrain Longformer | Cara membangun versi “panjang” dari model pretrained yang sudah ada | Iz Beltagy | |
| Menyesuaikan Longformer untuk QA | Cara melakukan fine-tuning model longformer untuk tugas QA | Suraj Patil | |
| Evaluasi Model dengan 🤗nlp | Cara mengevaluasi longformer pada TriviaQA dengan nlp | Patrick von Platen | |
| Menyesuaikan T5 untuk Ekstraksi Rentang Sentimen | Cara melakukan fine-tuning T5 untuk ekstraksi span sentimen menggunakan format teks-ke-teks dengan PyTorch Lightning | Lorenzo Ampil | |
| Menyesuaikan DistilBert untuk Klasifikasi Multikelas | Cara melakukan fine-tuning DistilBert untuk klasifikasi multikelas dengan PyTorch | Abhishek Kumar Mishra | |
| Menyesuaikan BERT untuk Klasifikasi Multi-label | Cara melakukan fine-tuning BERT untuk klasifikasi multi-label menggunakan PyTorch | Abhishek Kumar Mishra | |
| Menyesuaikan T5 untuk Ringkasan | Cara melakukan fine-tuning T5 untuk summarization di PyTorch dan melacak eksperimen dengan WandB | Abhishek Kumar Mishra | |
| Percepat Fine-Tuning di Transformers dengan Dynamic Padding / Bucketing | Cara mempercepat fine-tuning hingga 2 kali lipat menggunakan dynamic padding / bucketing | Michael Benesty | |
| Pretrain Reformer untuk Masked Language Modeling | Cara melatih model Reformer dengan lapisan self-attention bi-directional | Patrick von Platen | |
| Perluas dan Sesuaikan Sci-BERT | Cara meningkatkan kosakata model SciBERT pretrained dari AllenAI pada dataset CORD dan memipelinnya. | Tanmay Thakur | |
| Menyesuaikan BlenderBotSmall untuk Ringkasan menggunakan API Trainer | Cara melakukan fine-tuning BlenderBotSmall untuk ringkasan pada dataset kustom, menggunakan Trainer API. | Tanmay Thakur | |
| Menyesuaikan Electra dan menginterpretasikan dengan Integrated Gradients | Cara melakukan fine-tuning Electra untuk analisis sentimen dan menafsirkan prediksi dengan Captum Integrated Gradients | Eliza Szczechla | |
| melakukan fine-tuning pada Model GPT-2 non-Bahasa Inggris dengan kelas Trainer | Cara melakukan fine-tuning model GPT-2 non-Inggris dengan kelas Trainer | Philipp Schmid | |
| Menyesuaikan Model DistilBERT untuk tugas Klasifikasi Multi Label | Cara melakukan fine-tuning Model DistilBERT untuk tugas Klasifikasi Multi Label | Dhaval Taunk | |
| Menyesuaikan ALBERT untuk klasifikasi pasangan kalimat | Cara melakukan fine-tuning model ALBERT atau model berbasis BERT lainnya untuk tugas klasifikasi pasangan kalimat | Nadir El Manouzi | |
| Menyesuaikan ulang Roberta untuk analisis sentimen | Cara melakukan fine-tuning model Roberta untuk analisis sentimen | Dhaval Taunk | |
| Mengevaluasi Model Pembentukan Pertanyaan | Seberapa akurat jawaban atas pertanyaan yang dihasilkan oleh model transformer seq2seq Anda? | Pascal Zoleko | |
| Memanfaatkan BERT untuk Ringkasan Encoder-Decoder pada CNN/Dailymail | Cara memulai EncoderDecoderModel dengan checkpoint google-bert/bert-base-uncased untuk ringkasan pada CNN/Dailymail | Patrick von Platen | |
| Memanfaatkan RoBERTa untuk Ringkasan Encoder-Decoder pada BBC XSum | Cara memulai dengan hangat (warm-start) EncoderDecoderModel bersama menggunakan checkpoint FacebookAI/roberta-base untuk ringkasan pada BBC/XSum | Patrick von Platen | |
| Menyesuaikan TAPAS pada Sequential Question Answering (SQA) | Cara melakukan fine-tuning TapasForQuestionAnswering dengan checkpoint tapas-base pada dataset Sequential Question Answering (SQA) | Niels Rogge | |
| Mengevaluasi TAPAS pada Table Fact Checking (TabFact) | Cara mengevaluasi TapasForSequenceClassification yang telah dihaluskan dengan checkpoint tapas-base-finetuned-tabfact menggunakan kombinasi pustaka 🤗 datasets dan 🤗 transformers | Niels Rogge | |
| Penyesuaian halus mBART untuk penerjemahan | Cara melakukan fine-tuning mBART menggunakan Seq2SeqTrainer untuk terjemahan Hindi ke Inggris | Vasudev Gupta | |
| Lakukan fine-tuning LayoutLM pada FUNSD (dataset pemahaman formulir) | Cara melakukan fine-tuning LayoutLMForTokenClassification pada dataset FUNSD untuk ekstraksi informasi dari dokumen hasil pindaian | Niels Rogge | |
| Menyesuaikan DistilGPT2 dan Menghasilkan Teks | Cara melakukan fine-tuning DistilGPT2 dan menghasilkan teks | Aakash Tripathi | |
| Haluskan LED hingga 8K token | Cara melakukan fine-tuning LED pada pubmed untuk ringkasan jarak jauh | Patrick von Platen | |
| Evaluasi LED di Arxiv | Cara mengevaluasi LED secara efektif pada ringkasan jarak jauh | Patrick von Platen | |
| Lakukan fine-tuning LayoutLM pada RVL-CDIP (dataset klasifikasi gambar dokumen) | Cara melakukan fine-tuning LayoutLMForSequenceClassification pada dataset RVL-CDIP untuk klasifikasi dokumen hasil pindaian | Niels Rogge | |
| Decoding Wav2Vec2 CTC dengan penyesuaian GPT2 | Cara mendekode urutan CTC dengan penyesuaian model bahasa | Eric Lam | |
| Menyesuaikan BART untuk ringkasan dalam dua bahasa dengan kelas Trainer | Cara melakukan fine-tuning BART untuk ringkasan dalam dua bahasa dengan kelas Trainer | Eliza Szczechla | |
| Mengevaluasi Big Bird pada Trivia QA | Cara mengevaluasi BigBird pada penjawab pertanyaan dokumen panjang di Trivia QA | Patrick von Platen | |
| Membuat keterangan video menggunakan Wav2Vec2 | Cara membuat caption YouTube dari video apa pun dengan mentranskripsi audio menggunakan Wav2Vec | Niklas Muennighoff | |
| Menyesuaikan ulang Vision Transformer pada CIFAR-10 menggunakan PyTorch Lightning | Cara melakukan fine-tuning Vision Transformer (ViT) pada CIFAR-10 menggunakan HuggingFace Transformers, Datasets, dan PyTorch Lightning | Niels Rogge | |
| Menyesuaikan Vision Transformer pada CIFAR-10 menggunakan 🤗 Trainer | Cara melakukan fine-tuning Vision Transformer (ViT) pada CIFAR-10 menggunakan HuggingFace Transformers, Datasets, dan 🤗 Trainer | Niels Rogge | |
| Evaluasi LUKE pada Open Entity, dataset penipean entitas | Cara mengevaluasi LukeForEntityClassification pada dataset Open Entity | Ikuya Yamada | |
| Evaluasi LUKE pada TACRED, dataset ekstraksi relasi | Cara mengevaluasi LukeForEntityPairClassification pada dataset TACRED | Ikuya Yamada | |
| Evaluasi LUKE pada CoNLL-2003, sebuah benchmark NER yang penting | Cara mengevaluasi LukeForEntitySpanClassification pada dataset CoNLL-2003 | Ikuya Yamada | |
| Evaluasi BigBird-Pegasus pada dataset PubMed | Cara mengevaluasi BigBirdPegasusForConditionalGeneration pada dataset PubMed | Vasudev Gupta | |
| Klasifikasi Emosi Bicara dengan Wav2Vec2 | Cara memanfaatkan model Wav2Vec2 yang telah dilatih sebelumnya untuk Klasifikasi Emosi pada dataset MEGA | Mehrdad Farahani | |
| Deteksi objek dalam gambar dengan DETR | Cara menggunakan model DetrForObjectDetection yang telah dilatih untuk mendeteksi objek dalam gambar dan memvisualisasikan perhatian | Niels Rogge | |
| Menyesuaikan DETR pada dataset deteksi objek kustom | Cara melakukan fine-tuning DetrForObjectDetection pada dataset deteksi objek kustom | Niels Rogge | |
| Menyesuaikan T5 untuk Pengenalan Entitas Bernama | Cara melakukan fine-tuning T5 pada Tugas Named Entity Recognition | Ogundepo Odunayo | |
| Fine-Tuning LLM Open-Source menggunakan QLoRA dengan MLflow dan PEFT | Cara menggunakan QLoRA dan PEFT untuk fine-tuning LLM dengan cara yang hemat memori, sambil menggunakan MLflow untuk mengelola pelacakan eksperimen | Yuki Watanabe |