Update app.py

app.py

@@ -22,6 +22,8 @@ base_model = "project-baize/baize-v2-7b"  #load_8bit = False (in load_tokenizer_
 #base_model = "TheBloke/airoboros-13B-HF"   #load_8bit = True
 tokenizer,model,device = load_tokenizer_and_model(base_model,False)
 
+tokenized_datasets = datasets.map(tokenize_function, batched=True, num_proc=4, remove_columns=["text"])
+
 
 ########################################################################
 #Chat KI nutzen, um Text zu generieren...