---
base_model:
  - LiquidAI/LFM2-8B-A1B
language:
  - en
  - ar
  - zh
  - fr
  - de
  - ja
  - ko
  - es
  - tr
pipeline_tag: text-generation
license: other
library_name: transformers
license_name: lfm1.0
license_link: LICENSE
tags:
- text-generation
- turkish
- lora
- sft
- mixture-of-experts
datasets:
- afkfatih/turkish-gemma-51k
---
# LFM2-8B-A1B-TR

Bu model, [LiquidAI/LFM2-8B-A1B](https://huggingface.co/LiquidAI/LFM2-8B-A1B) temel modelinin Türkçe veri seti ile fine-tune edilmiş versiyonudur.

## Model Detayları

- **Model Tipi:** Mixture-of-Experts (MoE) Language Model
- **Temel Model:** LiquidAI/LFM2-8B-A1B (8 milyar parametre)
- **Fine-tuning Yöntemi:** LoRA (Low-Rank Adaptation) + Supervised Fine-Tuning
- **Dil:** Türkçe
- **Lisans:** Apache 2.0

## Eğitim Detayları

### Veri Seti
- **Kullanılan Veri:** [afkfatih/turkish-gemma-51k](https://huggingface.co/datasets/afkfatih/turkish-gemma-51k)
- **Veri Boyutu:** 51,000 Türkçe örnek

### Hiperparametreler
- **LoRA Rank (r):** 8
- **LoRA Alpha:** 16
- **LoRA Dropout:** 0.05
- **Target Modules:** `q_proj`, `k_proj`, `v_proj`, `o_proj`, `gate_proj`, `up_proj`, `down_proj`
- **Epochs:** 1
- **Batch Size (Train):** 4
- **Batch Size (Eval):** 4
- **Learning Rate:** 2e-4
- **Scheduler:** Linear
- **Warmup Ratio:** 0.3

### Eğitim Sonuçları

| Epoch | Training Loss | Validation Loss | Entropy | Mean Token Accuracy |
|-------|---------------|-----------------|---------|---------------------|
| 1     | 1.096400      | 0.816735        | 0.937737| 0.809420            |

## Kullanım

### Gereksinimler
```bash
pip install transformers torch peft accelerate
```

### Model Yükleme ve Kullanım
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name = "afkfatih/LFM2-8B-A1B-TR"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Metin üret
prompt = "Türkiye'nin başkenti"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=100,
    temperature=0.7,
    do_sample=True
)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_text)
```

## Sınırlamalar ve Önyargılar

- Bu model Türkçe metin üretimi için optimize edilmiştir
- Eğitim verisi 51,000 örnekle sınırlıdır
- Model, eğitim verisindeki potansiyel önyargıları yansıtabilir
- Üretilen içeriğin doğruluğu ve uygunluğu kullanım durumuna göre değerlendirilmelidir

## İletişim

Sorularınız veya geri bildirimleriniz için GitHub veya Hugging Face üzerinden iletişime geçebilirsiniz.

## Alıntı
```bibtex
@misc{LFM2-8B-A1B-TR,
  author = {afkfatih},
  title = {LFM2-8B-A1B-TR: Turkish Fine-tuned Mixture-of-Experts Model},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\\url{https://huggingface.co/afkfatih/LFM2-8B-A1B-TR}}
}
```

## Teşekkürler

- [LiquidAI](https://huggingface.co/LiquidAI) ekibine temel LFM2-8B-A1B modeli için
- Türkçe veri setini hazırlayan katkıda bulunanlara