Update app.py

app.py

@@ -1,7 +1,116 @@
 import gradio as gr
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+import os
 
-def greet(name):
-    return "Hello " + name + "!!"
+# Model adını belirtin
+model_name = "MiniMaxAI/MiniMax-M1-40k"
 
-demo = gr.Interface(fn=greet, inputs="text", outputs="text")
-demo.launch()
+# Tokenizer'ı yükleyin
+print(f"Tokenizer yükleniyor: {model_name}...")
+try:
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+    print("Tokenizer yüklendi.")
+except Exception as e:
+    print(f"Tokenizer yüklenirken hata oluştu: {e}")
+    # Hata durumunda boş bir tokenizer veya hata mesajı
+    tokenizer = None
+
+# Modeli yükleyin
+print(f"Model yükleniyor: {model_name}...")
+# Dikkat: Bu model çok büyük olabilir. device_map="auto" ve torch_dtype=torch.float16
+# bellek kullanımını azaltmaya yardımcı olabilir, ancak yeterli değilse CPU'da yüklemek gerekebilir.
+try:
+    model = AutoModelForCausalLM.from_pretrained(
+        model_name,
+        device_map="auto",
+        torch_dtype=torch.float16 # Bellek kullanımını azaltmak ve hesaplamayı hızlandırmak için
+        # load_in_8bit=True # 8-bit kuantizasyon kullanmayı deneyebilirsiniz (ek kurulum gerektirir)
+    )
+    print("Model yüklendi.")
+except Exception as e:
+    print(f"Model yüklenirken hata oluştu: {e}")
+    print("CPU'da yüklemeyi deniyorum...")
+    try:
+        model = AutoModelForCausalLM.from_pretrained(
+            model_name,
+            device_map="cpu" # Eğer GPU yoksa CPU'da yükle
+        )
+        print("Model CPU'da yüklendi.")
+    except Exception as cpu_e:
+        print(f"Model CPU'da yüklenirken de hata oluştu: {cpu_e}")
+        model = None
+
+# Modeli değerlendirme moduna (evaluation) alın
+if model:
+    model.eval()
+
+# Metin üretme fonksiyonu
+def generate_text(prompt, max_length=500, temperature=0.7, top_p=0.9, top_k=50):
+    """
+    Verilen prompt'a göre modelden metin üretir.
+    """
+    if not model or not tokenizer:
+        return "Hata: Model veya tokenizer yüklenemedi."
+
+    # Prompt'u token'lara dönüştür
+    try:
+        inputs = tokenizer(prompt, return_tensors="pt")
+        
+        # Eğer model GPU'daysa inputs'ları da GPU'ya taşı
+        if model.device != torch.device("cpu"):
+            inputs = inputs.to(model.device)
+    except Exception as e:
+        return f"Prompt tokenleştirilirken hata oluştu: {e}"
+
+    # Metin üretimi
+    with torch.no_grad():
+        try:
+            outputs = model.generate(
+                **inputs,
+                max_length=max_length,
+                do_sample=True,
+                temperature=temperature,
+                top_p=top_p,
+                top_k=top_k,
+                pad_token_id=tokenizer.eos_token_id # Padding için EOS token'ını kullan
+            )
+        except Exception as e:
+            return f"Metin üretimi sırasında hata oluştu: {e}"
+
+    # Üretilen token'ları metne dönüştür ve oku
+    try:
+        generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    except Exception as e:
+        return f"Metin çözülürken hata oluştu: {e}"
+
+    return generated_text
+
+# Gradio arayüzünü tanımlayın
+with gr.Blocks() as demo:
+    gr.Markdown("# MiniMax-M1-40k Demo")
+    gr.Markdown("MiniMaxAI/MiniMax-M1-40k modelini kullanarak metin üretin.")
+
+    with gr.Row():
+        with gr.Column(scale=3):
+            prompt_input = gr.Textbox(label="Prompt", lines=5, placeholder="Buraya metninizi girin...")
+            generate_button = gr.Button("Metin Üret")
+        with gr.Column(scale=1):
+            max_length = gr.Slider(minimum=50, maximum=2048, value=500, step=10, label="Max Uzunluk")
+            temperature = gr.Slider(minimum=0.1, maximum=1.5, value=0.7, step=0.1, label="Sıcaklık")
+            top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.9, step=0.05, label="Top P")
+            top_k = gr.Slider(minimum=1, maximum=100, value=50, step=1, label="Top K")
+
+    output_text = gr.Textbox(label="Üretilen Metin", lines=10, interactive=False)
+
+    # Butona tıklandığında fonksiyonu çağır
+    generate_button.click(
+        fn=generate_text,
+        inputs=[prompt_input, max_length, temperature, top_p, top_k],
+        outputs=output_text
+    )
+
+# Gradio arayüzünü başlatın
+if __name__ == "__main__":
+    print("Gradio arayüzü başlatılıyor...")
+    demo.launch()