Update app.py

app.py

@@ -219,21 +219,22 @@ print("done load")
 
 
 
-############################
-#Test des Modells
+##############################################
+#Testen des fine-tuned Modells
 ############################
 print("Test")
-text = "Was ist Tis?"
-
-# Example usage
 prompt = "Was ist TIS?"
 
-response = generate_response(prompt, model_neu, tokenizer_neu)
-print(response)
-print("response done")
+#####################################
+#mit generate_response - nicht bei allen Tikenizern möglich
+#response = generate_response(prompt, model_neu, tokenizer_neu)
+#print(response)
+#print("response done")
 
 
 '''
+#######################################
+#Encoding Tokenizer..
 #encoding = tokenizer(text, return_tensors="pt")
 #encoding = {k: v.to(trainer.model.device) for k,v in encoding.items()}
 
@@ -247,24 +248,18 @@ print("Output:\n" )
 #print(tokenizer.decode(outputs[0], skip_special_tokens=True))
 '''
 
-
-
-
-##############################################
-#Testen des fine-tuned Modells
-'''
+########################################
+#mit der predict Funktion
 print("Predict")
-login(token=os.environ["HF_ACCESS_TOKEN"]) #read access token!!!!!!!!!!
-model_name = "alexkueck/test-tis-1"
-tokenizer_neu = load_tokenizer(base_model)
-model_neu, device_neu = load_model(model_name, False)
-antwort = predict(model_neu, tokenizer_neu, device_neu, "Was ist Tis?", [["Tis", ""]], top_p=5,
+antwort = predict(model_neu, tokenizer_neu, device_neu, prompt, [["Tis", ""]], top_p=5,
             temperature=0.8,
             max_length_tokens=1024,
             max_context_length_tokens=2048,)
 print(antwort)
 print("done Predict")
-'''
+
+
+
 #######################################################################
 #Darstellung mit Gradio
 '''