Update app.py

app.py

@@ -47,7 +47,66 @@ def compute_metrics(eval_pred):
     #Before passing your predictions to compute, you need to convert the predictions to logits (remember all Transformers models return logits):
     return metric.compute(predictions=predictions, references=labels)
 
+#neues Model testen nach dem Training
+########################################################################
+#Chat KI nutzen, um Text zu generieren...
+def predict(text,
+            history='',
+            top_p=0.3,
+            temperature=0.9,
+            max_length_tokens=1024,
+            max_context_length_tokens=2048,):
+    if text=="":
+        return 
+    try:
+        model
+    except:
+        yield [[text,"No Model Found"]],[],"No Model Found"
+        return
+
+    inputs = generate_prompt_with_history(text,history,tokenizer,max_length=max_context_length_tokens)
+    if inputs is None:
+        return 
+    else:
+        prompt,inputs=inputs
+        begin_length = len(prompt)
+        
+    input_ids = inputs["input_ids"][:,-max_context_length_tokens:].to(device)
+    torch.cuda.empty_cache()
+
+    #torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation 
+    #hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
+    with torch.no_grad():
+        #die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen        
+        for x in greedy_search(input_ids,model,tokenizer,stop_words=["[|Human|]", "[|AI|]"],max_length=max_length_tokens,temperature=temperature,top_p=top_p):
+            if is_stop_word_or_prefix(x,["[|Human|]", "[|AI|]"]) is False:
+                if "[|Human|]" in x:
+                    x = x[:x.index("[|Human|]")].strip()
+                if "[|AI|]" in x:
+                    x = x[:x.index("[|AI|]")].strip() 
+                x = x.strip()   
+                a, b=   [[y[0],convert_to_markdown(y[1])] for y in history]+[[text, convert_to_markdown(x)]],history + [[text,x]]
+                print("Erzeuge")
+                return
+            if shared_state.interrupted:
+                shared_state.recover()
+                try:
+                    print("Erfolg")
+                    return
+                except:
+                    pass
+    del input_ids
+    gc.collect()
+    torch.cuda.empty_cache()
+    
+    try:
+        print("erfolg")
+    except:
+        pass
+
+
 
+###################################################################################
 ###################################################################################
 #Access-Token (in Secrets)
 
@@ -162,11 +221,16 @@ print("done")
 #trainer.push_to_hub("alexkueck/model/finetune-tis")
 #print("done")
 
-'''
+
+
+##############################################
+#Testen des fine-tuned Modells
+print("Predict")
+predict("Was ist Tis?")
 
 #######################################################################
 #Darstellung mit Gradio
-
+'''
 with gr.Blocks() as demo:
     name = gr.Textbox(label="Model")
     output = gr.Textbox(label="Output Box")