README.md

---

language: 
- fr
- en
- de
- es
- it
license: mit
tags:
- text-classification
- commit-messages
- humor-detection
- eurobert
- lora
- git
- optuna-optimized
datasets:
- custom
metrics:
- accuracy
- f1
library_name: transformers
pipeline_tag: text-classification
model-index:
- name: eurobert-commit-humor
  results:
  - task:
      type: text-classification
      name: Text Classification
    dataset:
      type: custom
      name: Git Commit Humor Detection
    metrics:
    - type: accuracy
      value: 85.3
      name: Global Accuracy
    - type: accuracy
      value: 82.9
      name: Funny Class Accuracy
---


# 🎭 EuroBERT Commit Humor Classifier (Optimized)

## 📋 Description

Ce modèle est une version optimisée d'EuroBERT fine-tunée pour détecter l'humour dans les messages de commit Git. 
Il a été optimisé avec Optuna sur plusieurs cycles d'amélioration automatique du dataset.

## 🎯 Performances

- **Accuracy globale**: 85.3%
- **Accuracy classe "funny"**: 82.9%
- **Accuracy classe "neutral"**: 85.6%
- **Seuil optimal**: 0.35

## 🚀 Utilisation

```python

from transformers import pipeline



# Charger le modèle

classifier = pipeline("text-classification", 

                     model="LBerthalon/eurobert-commit-humor", 

                     trust_remote_code=True)



# Prédiction

result = classifier("fix: gcc et moi c'est compliqué")

print(result)

# [{"label": "funny", "score": 0.85}]

```

## 🔧 Utilisation avancée

```python

from transformers import AutoTokenizer, AutoModelForSequenceClassification

import torch



# Charger le modèle et tokenizer

tokenizer = AutoTokenizer.from_pretrained("LBerthalon/eurobert-commit-humor", trust_remote_code=True)

model = AutoModelForSequenceClassification.from_pretrained("LBerthalon/eurobert-commit-humor", trust_remote_code=True)



# Préparer l'input

text = "feat: ajout de la fonctionnalité qui marche pas"

inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)



# Prédiction

with torch.no_grad():

    outputs = model(**inputs)

    predictions = torch.nn.functional.softmax(outputs.logits, dim=-1)

    

print(f"Funny: {predictions[0][1]:.3f}")

print(f"Neutral: {predictions[0][0]:.3f}")

```

## 📊 Exemples de Prédictions

| Message de Commit | Prédiction | Score |
|-------------------|------------|-------|
| "fix: correction du bug" | neutral | 0.92 |
| "feat: ajout de la magie noire" | funny | 0.78 |
| "docs: mise à jour README" | neutral | 0.95 |
| "fix: ça marche sur ma machine" | funny | 0.83 |

## 🛠️ Optimisation

Ce modèle a été optimisé avec :
- **Optuna** pour l'optimisation bayésienne des hyperparamètres
- **LoRA** (Low-Rank Adaptation) pour un fine-tuning efficace
- **Amélioration itérative** du dataset
- **5 cycles d'optimisation** automatique

## 📈 Architecture

- **Modèle de base**: EuroBERT
- **Technique**: LoRA Fine-tuning
- **Classes**: 2 (funny, neutral)
- **Langues supportées**: Français (principal), Anglais, Allemand, Espagnol, Italien

## 🎓 Citation

```bibtex

@misc{eurobert-commit-humor-optimized,

  title={EuroBERT Commit Humor Classifier (Optimized)},

  author={LBerthalon},

  year={2025},

  publisher={Hugging Face},

  url={https://huggingface.co/LBerthalon/eurobert-commit-humor}

}

```

## 📄 Licence

MIT License