--- library_name: transformers license: apache-2.0 base_model: legmlai/legml-v1.0-base tags: - llama-factory - full - generated_from_trainer model-index: - name: legml-v1.0-instruct results: - task: type: text-generation name: Text Generation dataset: name: gpqa-fr type: ai2_arc config: le-leadboard/gpqa-fr split: test args: num_few_shot: 25 metrics: - type: acc value: 14.56 name: accuracy - task: type: text-generation name: Text Generation dataset: name: IFEval-fr type: le-leadboard/IFEval-fr split: validation args: num_few_shot: 10 metrics: - type: acc value: 13.55 name: accuracy - task: type: text-generation name: Text Generation dataset: name: MMMLU-fr type: le-leadboard/MMMLU-fr config: all split: test args: num_few_shot: 5 metrics: - type: acc value: 64.57 name: accuracy - task: type: text-generation name: Text Generation dataset: name: bbh-fr type: le-leadboard/bbh-fr config: multiple_choice split: validation args: num_few_shot: 0 metrics: - type: acc value: 38.71 name: accuracy - task: type: text-generation name: Text Generation dataset: name: musr-fr type: le-leadboard/musr-fr config: le-leadboard/musr-fr split: validation args: num_few_shot: 5 metrics: - type: acc value: 4.41 name: accuracy - task: type: text-generation name: Text Generation dataset: name: MATH_LVL5_fr type: le-leadboard/MATH_LVL5_fr config: le-leadboard/MATH_LVL5_fr split: test args: num_few_shot: 5 metrics: - type: acc value: 34.44 name: accuracy datasets: - legmlai/finefrench-v1 - legmlai/openhermes-fr language: - fr --- # legml-v1.0-instruct — L’Excellence Française de l’Instruction-Tuning
legml.ai **L’IA pure qui forme l’IA : un corpus 100 % francophone sélectionné et contrôlé** **Curated by [legml.ai](https://legml.ai) – Leader in AI Data Curation & Quality Assurance** ![Model](https://img.shields.io/badge/Model-legml_v1.0_instruct-blue) ![Language](https://img.shields.io/badge/Language-Français-red) ![License](https://img.shields.io/badge/License-Apache--2.0-green) ![Dataset](https://img.shields.io/badge/Dataset-OpenHermes_FR-orange) ![Pairs](https://img.shields.io/badge/Pairs-~800k-critical) ![GPU](https://img.shields.io/badge/Training_Resources-24x_H100-purple)
--- ## 1 • Présentation **`legmlai/legml-v1.0-instruct`** est la déclinaison *instruction-tuned* de **legml-v1.0-base** (Qwen-3 · 8 B). Elle a été affinée sur **[Open-Hermes-FR](https://huggingface.co/datasets/legmlai/openhermes-fr)**, un corpus de **799 875** paires instruction/réponse exclusivement en français, issu de la traduction puis distillation d’OpenHermes original :contentReference[oaicite:0]{index=0}. Projet conçu et maintenu par **[Mohamad Alhajar](https://www.linkedin.com/in/mohamad-alhajar/)**. > **🙏 Merci à [Nebius](https://nebius.ai/)** pour le sponsoring GPU : **24 × H100 80 Go** qui ont permis cet entraînement. --- ## 2 • Spécifications | Paramètre | Valeur | |-----------|--------| | **Base** | `legmlai/legml-v1.0-base` (Qwen-3 · 8 B) | | **Taille modèle** | ≈ 16 Go (fp16) / 8 Go (bf16) | | **Jeu d’instructions** | Open-Hermes-FR – 799 875 paires, 100 % français :contentReference[oaicite:1]{index=1} | | **Méthode** | SFT multi-tour + DPO léger | | **Licence** | Apache-2.0 | --- ## 3 • À propos d’Open-Hermes-FR - **Origine** : traduction GPT-4o → français, puis génération des réponses et filtrage automatique. - **Taille** : ~ 800 k exemples, schéma `prompt` / `accepted_completion` (+ flags qualité) :contentReference[oaicite:2]{index=2} - **Licence** : ODC-BY 1.0 (libre, obligation d’attribution) :contentReference[oaicite:3]{index=3} - **Objectif** : fournir un socle cohérent et riche pour l’aligne­ment des LLMs francophones (dialogue, raisonnement, QA). --- ## 4 • Exemple d’utilisation « chat » ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch device = "cuda" if torch.cuda.is_available() else "cpu" model_id = "legmlai/legml-v1.0-instruct" tok = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, device_map="auto", torch_dtype="auto" ) messages = [ {"role": "system", "content": "Tu es un assistant francophone rigoureux et bienveillant."}, {"role": "user", "content": "Explique-moi la relativité restreinte en trois points."} ] prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tok(prompt, return_tensors="pt").to(device) out = model.generate( **inputs, temperature=0.4, top_p=0.9, max_new_tokens=512, repetition_penalty=1.05 ) print(tok.decode(out[0, inputs["input_ids"].shape[-1]:], skip_special_tokens=True)) ```` --- ## 5 • Hyper-paramètres conseillés | Scénario | Température | top-p | max\_new\_tokens | | --------------------- | ----------- | ----- | ---------------- | | Réponse factuelle | 0.3 – 0.5 | 0.9 | 128 – 256 | | Explication détaillée | 0.4 – 0.6 | 0.9 | 512 – 768 | | Création littéraire | 0.7 – 0.9 | 0.95 | ≥ 512 | --- ## 6 • Limitations connues 1. **Connaissances post-avril 2025** limitées — vérifiez toujours les faits récents. 2. **Raisonnement mathématique compétition** encore perfectible. 3. **Biais** : certaines traces des datasets sources et de GPT-4o subsistent. --- ## 7 • Citation ``` @misc{legml2025_instruct, title = {legml-v1.0-instruct : French Instruction-Tuned LLM}, author = {Mohamad Alhajar}, howpublished = {https://huggingface.co/legmlai/legml-v1.0-instruct}, year = {2025} } ``` --- © 2025 – [legml.ai](https://legml.ai) • Apache-2.0