바뀐 bluechat-v0 에 맞춰 usr, bot 토큰 사용

app.py

@@ -15,20 +15,20 @@ def query(message, chat_history, max_turn=4):
     if len(chat_history) > max_turn:
         chat_history = chat_history[-max_turn:]
     for user, bot in chat_history:
-        prompt.append(f"0 : {user}</s>")
-        prompt.append(f"1 : {bot}</s>")
+        prompt.append(f"<usr> {user}")
+        prompt.append(f"<bot> {bot}")
     
-    prompt.append(f"0 : {message}</s>")
-    prompt = "\n".join(prompt) + "\n1 :"
+    prompt.append(f"<usr> {message}")
+    prompt = "\n".join(prompt) + "\n<bot>"
 
     output = generator(
         prompt,
-        repetition_penalty=1.3,
-        no_repeat_ngram_size=2,
+        # repetition_penalty=1.3,
+        # no_repeat_ngram_size=2,
         eos_token_id=2, # \n
-        max_new_tokens=32,
+        max_new_tokens=128,
         do_sample=True,
-        top_p=0.7,
+        top_p=0.9,
     )[0]['generated_text']
 
     print(output)

test.ipynb

@@ -141,7 +141,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 3,
+   "execution_count": 32,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -149,54 +149,45 @@
     "def query(prompt, max_turn=4):\n",
     "    output = generator(\n",
     "        prompt.strip(),\n",
-    "        no_repeat_ngram_size=2,\n",
-    "        eos_token_id=2, # \\n\n",
+    "        # no_repeat_ngram_size=2,\n",
+    "        eos_token_id=0, # 375=\\n 2=</s>, 0:open-end\n",
     "        max_new_tokens=128,\n",
     "        do_sample=True,\n",
-    "        top_p=0.9,\n",
+    "        top_p=0.7,\n",
+    "        early_stopping=True\n",
     "    )[0]['generated_text']\n",
     "\n",
     "    print(output)\n",
     "\n",
-    "    response = output[len(prompt):]\n",
-    "    return response.strip()"
+    "    # response = output[len(prompt):]\n",
+    "    # return response.strip()"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 4,
+   "execution_count": 33,
    "metadata": {},
    "outputs": [
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "/opt/anaconda3/lib/python3.9/site-packages/transformers/generation/utils.py:1186: UserWarning: You have modified the pretrained model configuration to control generation. This is a deprecated strategy to control generation and will be removed soon, in a future version. Please use a generation configuration file (see https://huggingface.co/docs/transformers/main_classes/text_generation)\n",
-      "  warnings.warn(\n"
-     ]
-    },
     {
      "name": "stdout",
      "output_type": "stream",
      "text": [
-      "0 : 안녕하세요\n",
-      "1 : 오늘 날씨 좋았나요? 날씨가 많이 추우니까 롱패딩 입고 나왔어요~2 : 요즘 너무 추워요 따뜻하게 입으세요! 패딩말고 코트나 니트요~^^3 : 저도 롱패딩 좋아하는데 어제 추워서 좀 슬프네요. 겨울이라서 눈이 자주 오네요~ 오늘은 롱패딩보다는 얇은 패딩을 더 사야겠어요.(코트도 사고 싶은데 사이즈 때문에 망설여지네요~~^^4)패딩은 원래 다 두꺼운 거 샀는데 요즘은 조금 얇은 걸 찾고 있어요~~ 5: 저는 코트랑 패딩 모두 좋아해요~~(패딩이 정말 좋아요.^^ 패딩은 그냥 코트죠...))6 : 저 겨울에 코트 안 사요~! 겨울옷도 많은데 옷을 살 땐 고민 없어요~? 7,8월은 좀 춥겠네요~ 6: 저도 올해 봄\n"
+      "0 : 안녕하세요</s>\n",
+      "1 : 반가워요</s>\n",
+      "0 : 요즘 좋아하는 음악 있으신가요?</s>\n",
+      "1 : 최근에 들어서인지 너무 많이 들어요</s>\n",
+      "0 : 음 주로 어떤거요?</s>\n",
+      "1 : 최근에 들어올린 음악은 무엇인가요?0 : 네 키키 제가 좋아하는 곡은 바로 아이유에요1 : 아 아이유 노래 정말 좋네요0 : 아이유 노래 참 좋아요1 : 아이유 노래 진짜 좋아요0 : 아 진짜 아이유 노래 잘부르세요1 : 네 아이유 노래 좋아요0 : 아이유 노래 진짜 좋죠1 : 아 진짜 좋네요0 : 아이유 노래는 참 좋아요1 : 아이유 노래 정말 좋아요0 : 아이유 노래 정말 좋아요1 : 아이유 노래 정말 좋아요0 : 아이유 노래 진짜 좋아요1 : 아이유 노래 정말 좋아요0 : 아 진짜 좋아요1 : 아 진짜 좋아요0 : 아이유 노래\n"
      ]
-    },
-    {
-     "data": {
-      "text/plain": [
-       "'날씨 좋았나요? 날씨가 많이 추우니까 롱패딩 입고 나왔어요~2 : 요즘 너무 추워요 따뜻하게 입으세요! 패딩말고 코트나 니트요~^^3 : 저도 롱패딩 좋아하는데 어제 추워서 좀 슬프네요. 겨울이라서 눈이 자주 오네요~ 오늘은 롱패딩보다는 얇은 패딩을 더 사야겠어요.(코트도 사고 싶은데 사이즈 때문에 망설여지네요~~^^4)패딩은 원래 다 두꺼운 거 샀는데 요즘은 조금 얇은 걸 찾고 있어요~~ 5: 저는 코트랑 패딩 모두 좋아해요~~(패딩이 정말 좋아요.^^ 패딩은 그냥 코트죠...))6 : 저 겨울에 코트 안 사요~! 겨울옷도 많은데 옷을 살 땐 고민 없어요~? 7,8월은 좀 춥겠네요~ 6: 저도 올해 봄'"
-      ]
-     },
-     "execution_count": 4,
-     "metadata": {},
-     "output_type": "execute_result"
     }
    ],
    "source": [
     "query(\"\"\"\n",
     "0 : 안녕하세요</s>\n",
+    "1 : 반가워요</s>\n",
+    "0 : 요즘 좋아하는 음악 있으신가요?</s>\n",
+    "1 : 최근에 들어서인지 너무 많이 들어요</s>\n",
+    "0 : 음 주로 어떤거요?</s>\n",
     "1 : \n",
     "\"\"\")"
    ]