Introducere

În Capitolul 3, ați văzut cum să faceți fine-tune unui model pentru clasificarea textului. În acest capitol, vom aborda următoarele sarcini NLP:

• Clasificarea tokenilor
• Masked language modeling (precum BERT)
• Sumarizare
• Traducere
• Preantrenare pentru causal language modeling (precum GPT-2)
• Răspunsul la întrebări

Pentru a face acest lucru, va trebui să valorificați tot ceea ce ați învățat despre API-ul Trainer și biblioteca 🤗 Accelerate în Capitolul 3, biblioteca 🤗 Datasets în Capitolul 5 și biblioteca 🤗 Tokenizers în Capitolul 6. De asemenea, vom încărca rezultatele noastre în Model Hub, așa cum am făcut în Capitolul 4, astfel încât acesta este cu adevărat capitolul în care totul se unește!

Fiecare secțiune poate fi citită independent și vă va arăta cum să antrenați un model cu API-ul Trainer sau cu propria buclă de antrenament, utilizând 🤗 Accelerate. Nu ezitați să săriți peste oricare dintre cele două părți și să vă concentrați pe cea care vă interesează cel mai mult: API-ul Trainer este excelent pentru fine-tuning sau antrenarea modelului vostru fără a vă face griji cu privire la ceea ce se întâmplă în spatele scenei, în timp ce bucla de antrenament cu Accelerate vă va permite să personalizați mai ușor orice parte doriți.

Dacă citiți secțiunile în succesiune, veți observa că acestea au destul de mult cod și proză în comun. Repetarea este intenționată, pentru a vă permite să intrați (sau să reveniți mai târziu) la orice sarcină care vă interesează și să găsiți un exemplu.

Update on GitHub