Update utils.py

utils.py

@@ -144,18 +144,15 @@ def predict(text,
             max_length_tokens,
             max_context_length_tokens,):
     if text=="":
-        yield history,"Empty context."
-        return 
+        return "Leer"
     try:
         model
     except:
-        yield [[text,"No Model Found"]],[],"No Model Found"
-        return
+        return [[text,"No Model Found"]]
 
     inputs = generate_prompt_with_history(text,history,tokenizer,max_length=max_context_length_tokens)
     if inputs is None:
-        yield history,"Input too long."
-        return 
+        return "Too long"
     else:
         prompt,inputs=inputs
         begin_length = len(prompt)
@@ -166,6 +163,7 @@ def predict(text,
     #torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation 
     #hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
     with torch.no_grad():
+        antwort=[[""],[""]]
         #die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen        
         for x in greedy_search(input_ids,model,tokenizer,stop_words=["[|Human|]", "[|AI|]"],max_length=max_length_tokens,temperature=temperature,top_p=top_p):
             if is_stop_word_or_prefix(x,["[|Human|]", "[|AI|]"]) is False:
@@ -175,12 +173,11 @@ def predict(text,
                     x = x[:x.index("[|AI|]")].strip() 
                 x = x.strip()   
                 a, b=   [[y[0],convert_to_markdown(y[1])] for y in history]+[[text, convert_to_markdown(x)]],history + [[text,x]]
-                yield a, b, "Generating..."
+                antwort = antwort + a
             if shared_state.interrupted:
                 shared_state.recover()
                 try:
-                    yield a, b, "Stop: Success"
-                    return
+                    return antwort
                 except:
                     pass
     del input_ids
@@ -188,7 +185,7 @@ def predict(text,
     torch.cuda.empty_cache()
     
     try:
-        yield a,b,"Generate: Success"
+        return antwort
     except:
         pass