plus rubert

app.py

@@ -0,0 +1,7 @@
+import streamlit as st
+import pandas as pd
+import numpy as np
+from sentence_transformers import SentenceTransformer
+import faiss
+import pickle
+import time

first.ipynb

@@ -2,7 +2,7 @@
  "cells": [
   {
    "cell_type": "code",
-   "execution_count": 1,
+   "execution_count": 139,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -10,12 +10,31 @@
     "import numpy as np\n",
     "from sklearn.metrics.pairwise import cosine_similarity\n",
     "import torch\n",
-    "import pandas as pd"
+    "import pandas as pd\n",
+    "import re\n",
+    "import nltk\n",
+    "from nltk.corpus import stopwords"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 3,
+   "execution_count": 140,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# nltk.download('stopwords')"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Sentence Transformers"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 141,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -25,7 +44,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 6,
+   "execution_count": 142,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -35,7 +54,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 9,
+   "execution_count": 143,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -44,7 +63,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 14,
+   "execution_count": 144,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -54,7 +73,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 16,
+   "execution_count": 145,
    "metadata": {},
    "outputs": [
     {
@@ -82,7 +101,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 17,
+   "execution_count": 146,
    "metadata": {},
    "outputs": [
     {
@@ -181,7 +200,7 @@
        "4  Компания мелких подонков старшего школьного во...             179  "
       ]
      },
-     "execution_count": 17,
+     "execution_count": 146,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -192,7 +211,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 21,
+   "execution_count": 147,
    "metadata": {},
    "outputs": [
     {
@@ -201,7 +220,7 @@
        "'История о Шерлоке Холмсе и докторе Ватсоне в Лондоне начала двадцать первого века успела прославиться не только как одна из самых стильных и интригующих экранизаций рассказов сэра Артура Конан-Дойла, но и как шоу, создатели которого заставляют фанатов изнывать в ожидании новых серий не меньше пары-тройки мучительных лет. Ожидание, впрочем, того стоит.\\r\\nВ чем суть?\\r\\nХромающий афганский ветеран ищет соседа по квартире и по совету знакомого отправляется в морг к возможному кандидату. К счастью, живому — но с характером, являющим собой ядерный коктейль из социопатии, презрения к интеллектуальному уровню окружающих и прочих милых личностных качеств, включая неоспоримую гениальность. Лондон, тем временем, сотрясает череда необъяснимых убийств, разобраться с которыми бравым служакам из Скотленд Ярда оказывается не по зубам. В дело под бодрый саундтрек вступают Шерлок и доктор Ватсон, вооруженные в придачу к давно знакомой дедукции еще и личным блогом, закодированными мобильниками и прочими благами цивилизации.'"
       ]
      },
-     "execution_count": 21,
+     "execution_count": 147,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -212,74 +231,79 @@
   },
   {
    "cell_type": "code",
-   "execution_count": null,
+   "execution_count": 148,
    "metadata": {},
    "outputs": [],
    "source": [
-    "#Предобработка текста\n"
+    "# def clean_text(text):\n",
+    "#     # Удаление всего, что не является буквами или знаками препинания\n",
+    "#     clean_pattern = re.compile(r'[^a-zA-Zа-яА-ЯёЁ0-9.,!?;:\\s]')\n",
+    "#     text = clean_pattern.sub('', text)\n",
+    "#     url_pattern = re.compile(r'http\\S+|www\\S+|https\\S+')\n",
+    "#     text = url_pattern.sub(r'', text)\n",
+    "#     text = re.sub(\"\\s+\", \" \", text)\n",
+    "#     stop_words = set(stopwords.words(\"russian\"))\n",
+    "#     splitted_text = [word for word in text.split() if word not in stop_words]\n",
+    "#     text = \" \".join(splitted_text)\n",
+    "#     return text"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 18,
+   "execution_count": 149,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "#Предобработка текста\n",
+    "\n",
+    "\n",
+    "def clean_text(text):\n",
+    "    # Удаляем переносы строк\n",
+    "    text = re.sub(r'\\r\\n', ' ', text)\n",
+    "    \n",
+    "    # Удаляем все, кроме букв и пробелов\n",
+    "    text = re.sub(r'[^а-яА-Яa-zA-Z\\s]', '', text)\n",
+    "    \n",
+    "    # Удаляем лишние пробелы\n",
+    "    text = re.sub(r'\\s+', ' ', text).strip()\n",
+    "    \n",
+    "    return text"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 150,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "data['description'] = data['description'].apply(clean_text)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 151,
    "metadata": {},
    "outputs": [
     {
      "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "f23f50b1b1fa41b395ce4eecea9f01dd",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "modules.json:   0%|          | 0.00/229 [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "06a293770d35474e93f549f159422783",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "config_sentence_transformers.json:   0%|          | 0.00/122 [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "c89e7b45fa0347e0a94fffaf53773082",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "README.md:   0%|          | 0.00/4.13k [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "a843cd7d29b5444a92ebe0c3dae2da7b",
-       "version_major": 2,
-       "version_minor": 0
-      },
       "text/plain": [
-       "sentence_bert_config.json:   0%|          | 0.00/53.0 [00:00<?, ?B/s]"
+       "'История о Шерлоке Холмсе и докторе Ватсоне в Лондоне начала двадцать первого века успела прославиться не только как одна из самых стильных и интригующих экранизаций рассказов сэра Артура КонанДойла но и как шоу создатели которого заставляют фанатов изнывать в ожидании новых серий не меньше парытройки мучительных лет Ожидание впрочем того стоит В чем суть Хромающий афганский ветеран ищет соседа по квартире и по совету знакомого отправляется в морг к возможному кандидату К счастью живому но с характером являющим собой ядерный коктейль из социопатии презрения к интеллектуальному уровню окружающих и прочих милых личностных качеств включая неоспоримую гениальность Лондон тем временем сотрясает череда необъяснимых убийств разобраться с которыми бравым служакам из Скотленд Ярда оказывается не по зубам В дело под бодрый саундтрек вступают Шерлок и доктор Ватсон вооруженные в придачу к давно знакомой дедукции еще и личным блогом закодированными мобильниками и прочими благами цивилизации'"
       ]
      },
+     "execution_count": 151,
      "metadata": {},
-     "output_type": "display_data"
-    },
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "data.loc[0, 'description']"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 152,
+   "metadata": {},
+   "outputs": [
     {
      "name": "stderr",
      "output_type": "stream",
@@ -287,104 +311,6 @@
       "/home/vera/miniforge3/lib/python3.10/site-packages/huggingface_hub/file_download.py:1132: FutureWarning: `resume_download` is deprecated and will be removed in version 1.0.0. Downloads always resume when possible. If you want to force a new download, use `force_download=True`.\n",
       "  warnings.warn(\n"
      ]
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "1a19f9f07f554f21bb862699155745b8",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "config.json:   0%|          | 0.00/723 [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "b87d2b35368c4ab69bebfa4551c907f2",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "model.safetensors:   0%|          | 0.00/1.11G [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "b01711c9aaf048b6a79d8ebcbdbd5e7e",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "tokenizer_config.json:   0%|          | 0.00/402 [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "b45af46c58ae436e88b8f49b105580da",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "sentencepiece.bpe.model:   0%|          | 0.00/5.07M [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "19d38eb3f34a4fda889e9ed69e48768b",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "tokenizer.json:   0%|          | 0.00/9.08M [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "fb3b9db7b5f04921bf720a6245863e98",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "special_tokens_map.json:   0%|          | 0.00/239 [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "e3a43d2e151142f4a4ff990b9716731d",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "1_Pooling/config.json:   0%|          | 0.00/190 [00:00<?, ?B/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
     }
    ],
    "source": [
@@ -398,7 +324,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 19,
+   "execution_count": 153,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -408,7 +334,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 20,
+   "execution_count": 154,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -420,7 +346,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 34,
+   "execution_count": 155,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -429,13 +355,15 @@
     "    query_embedding = model.encode([user_query], convert_to_tensor=True).cpu().numpy()\n",
     "    query_embedding = query_embedding / np.linalg.norm(query_embedding, axis=1, keepdims=True)  # Нормализация\n",
     "    D, I = index.search(query_embedding, top_k)\n",
-    "    results = data.iloc[I[0]]\n",
-    "    return pd.DataFrame(results)"
+    "    results = data.iloc[I[0]].copy()\n",
+    "    cosine_similarities = D[0]\n",
+    "    results['cosine_similarity'] = cosine_similarities\n",
+    "    return results"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 37,
+   "execution_count": 133,
    "metadata": {},
    "outputs": [
     {
@@ -464,6 +392,7 @@
        "      <th>tvshow_title</th>\n",
        "      <th>description</th>\n",
        "      <th>annotation_len</th>\n",
+       "      <th>cosine_similarity</th>\n",
        "    </tr>\n",
        "  </thead>\n",
        "  <tbody>\n",
@@ -472,16 +401,18 @@
        "      <td>https://myshows.me/view/187/</td>\n",
        "      <td>https://media.myshows.me/shows/1920/0/c2/0c296...</td>\n",
        "      <td>Во все тяжкие</td>\n",
-       "      <td>Культовый сериал о том, что школьный учитель, ...</td>\n",
+       "      <td>Культовый сериал о том что школьный учитель ок...</td>\n",
        "      <td>142</td>\n",
+       "      <td>0.514940</td>\n",
        "    </tr>\n",
        "    <tr>\n",
        "      <th>19</th>\n",
        "      <td>https://myshows.me/view/55/</td>\n",
        "      <td>https://media.myshows.me/shows/1920/3/21/32187...</td>\n",
        "      <td>Клиника</td>\n",
-       "      <td>Отучившись четыре года в медицинской школе, Дж...</td>\n",
+       "      <td>Отучившись четыре года в медицинской школе Джо...</td>\n",
        "      <td>46</td>\n",
+       "      <td>0.401157</td>\n",
        "    </tr>\n",
        "    <tr>\n",
        "      <th>43</th>\n",
@@ -490,62 +421,70 @@
        "      <td>Блудливая Калифорния</td>\n",
        "      <td>Талантливый и некогда известный писатель Хэнк ...</td>\n",
        "      <td>56</td>\n",
+       "      <td>0.400791</td>\n",
        "    </tr>\n",
        "    <tr>\n",
-       "      <th>7</th>\n",
-       "      <td>https://myshows.me/view/1/</td>\n",
-       "      <td>https://media.myshows.me/shows/1920/0/73/073db...</td>\n",
-       "      <td>Доктор Хаус</td>\n",
-       "      <td>Пожалуй, самый известный сериал о медицинских ...</td>\n",
-       "      <td>126</td>\n",
+       "      <th>40</th>\n",
+       "      <td>https://myshows.me/view/37718/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/a/b3/ab397...</td>\n",
+       "      <td>Как избежать наказания за убийство</td>\n",
+       "      <td>Практически производственная драма о нелегкой ...</td>\n",
+       "      <td>132</td>\n",
+       "      <td>0.355167</td>\n",
        "    </tr>\n",
        "    <tr>\n",
        "      <th>35</th>\n",
        "      <td>https://myshows.me/view/34737/</td>\n",
        "      <td>https://media.myshows.me/shows/1920/c/72/c7251...</td>\n",
        "      <td>Рик и Морти</td>\n",
-       "      <td>В центре сюжета — школьник по имени Морти и ег...</td>\n",
+       "      <td>В центре сюжета школьник по имени Морти и его ...</td>\n",
        "      <td>81</td>\n",
+       "      <td>0.344527</td>\n",
        "    </tr>\n",
        "    <tr>\n",
-       "      <th>40</th>\n",
-       "      <td>https://myshows.me/view/37718/</td>\n",
-       "      <td>https://media.myshows.me/shows/1920/a/b3/ab397...</td>\n",
-       "      <td>Как избежать наказания за убийство</td>\n",
-       "      <td>Практически производственная драма о нелегкой ...</td>\n",
-       "      <td>132</td>\n",
+       "      <th>21</th>\n",
+       "      <td>https://myshows.me/view/59512/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/1/64/16430...</td>\n",
+       "      <td>Половое воспитание</td>\n",
+       "      <td>Оттис замкнутый интровертдевственник живущий с...</td>\n",
+       "      <td>117</td>\n",
+       "      <td>0.340558</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>7</th>\n",
+       "      <td>https://myshows.me/view/1/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/0/73/073db...</td>\n",
+       "      <td>Доктор Хаус</td>\n",
+       "      <td>Пожалуй самый известный сериал о медицинских р...</td>\n",
+       "      <td>126</td>\n",
+       "      <td>0.320888</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>12</th>\n",
+       "      <td>https://myshows.me/view/3/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/8/7f/87fc3...</td>\n",
+       "      <td>Обмани меня</td>\n",
+       "      <td>Все люди лгут Каждое движение жест мимолетное ...</td>\n",
+       "      <td>139</td>\n",
+       "      <td>0.309987</td>\n",
        "    </tr>\n",
        "    <tr>\n",
        "      <th>31</th>\n",
        "      <td>https://myshows.me/view/58610/</td>\n",
        "      <td>https://media.myshows.me/shows/1920/e/76/e763f...</td>\n",
        "      <td>Ведьмак</td>\n",
-       "      <td>Геральт из Ривии — ведьмак, представитель цеха...</td>\n",
+       "      <td>Геральт из Ривии ведьмак представитель цеха ко...</td>\n",
        "      <td>162</td>\n",
+       "      <td>0.309098</td>\n",
        "    </tr>\n",
        "    <tr>\n",
-       "      <th>20</th>\n",
-       "      <td>https://myshows.me/view/30443/</td>\n",
-       "      <td>https://media.myshows.me/shows/1920/e/e4/ee415...</td>\n",
-       "      <td>Ганнибал</td>\n",
-       "      <td>Интеллектуальный поединок агента ФБР Уилла Грэ...</td>\n",
-       "      <td>149</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>46</th>\n",
-       "      <td>https://myshows.me/view/34265/</td>\n",
-       "      <td>https://media.myshows.me/shows/1920/c/45/c45a8...</td>\n",
-       "      <td>Фарго</td>\n",
-       "      <td>Первый сезон В январе 2006 года Лорн Малво (Би...</td>\n",
-       "      <td>227</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>21</th>\n",
-       "      <td>https://myshows.me/view/59512/</td>\n",
-       "      <td>https://media.myshows.me/shows/1920/1/64/16430...</td>\n",
-       "      <td>Половое воспитание</td>\n",
-       "      <td>Оттис — замкнутый интроверт-девственник, живущ...</td>\n",
-       "      <td>117</td>\n",
+       "      <th>18</th>\n",
+       "      <td>https://myshows.me/view/26428/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/8/b0/8b0da...</td>\n",
+       "      <td>Настоящий детектив</td>\n",
+       "      <td>Давно похороненный висяк убийство молодой деву...</td>\n",
+       "      <td>152</td>\n",
+       "      <td>0.308820</td>\n",
        "    </tr>\n",
        "  </tbody>\n",
        "</table>\n",
@@ -556,59 +495,311 @@
        "5     https://myshows.me/view/187/   \n",
        "19     https://myshows.me/view/55/   \n",
        "43     https://myshows.me/view/10/   \n",
-       "7       https://myshows.me/view/1/   \n",
-       "35  https://myshows.me/view/34737/   \n",
        "40  https://myshows.me/view/37718/   \n",
-       "31  https://myshows.me/view/58610/   \n",
-       "20  https://myshows.me/view/30443/   \n",
-       "46  https://myshows.me/view/34265/   \n",
+       "35  https://myshows.me/view/34737/   \n",
        "21  https://myshows.me/view/59512/   \n",
+       "7       https://myshows.me/view/1/   \n",
+       "12      https://myshows.me/view/3/   \n",
+       "31  https://myshows.me/view/58610/   \n",
+       "18  https://myshows.me/view/26428/   \n",
        "\n",
        "                                            image_url  \\\n",
        "5   https://media.myshows.me/shows/1920/0/c2/0c296...   \n",
        "19  https://media.myshows.me/shows/1920/3/21/32187...   \n",
        "43  https://media.myshows.me/shows/1920/8/ac/8ac41...   \n",
-       "7   https://media.myshows.me/shows/1920/0/73/073db...   \n",
-       "35  https://media.myshows.me/shows/1920/c/72/c7251...   \n",
        "40  https://media.myshows.me/shows/1920/a/b3/ab397...   \n",
-       "31  https://media.myshows.me/shows/1920/e/76/e763f...   \n",
-       "20  https://media.myshows.me/shows/1920/e/e4/ee415...   \n",
-       "46  https://media.myshows.me/shows/1920/c/45/c45a8...   \n",
+       "35  https://media.myshows.me/shows/1920/c/72/c7251...   \n",
        "21  https://media.myshows.me/shows/1920/1/64/16430...   \n",
+       "7   https://media.myshows.me/shows/1920/0/73/073db...   \n",
+       "12  https://media.myshows.me/shows/1920/8/7f/87fc3...   \n",
+       "31  https://media.myshows.me/shows/1920/e/76/e763f...   \n",
+       "18  https://media.myshows.me/shows/1920/8/b0/8b0da...   \n",
        "\n",
        "                          tvshow_title  \\\n",
        "5                        Во все тяжкие   \n",
        "19                             Клиника   \n",
        "43                Блудливая Калифорния   \n",
-       "7                          Доктор Хаус   \n",
-       "35                         Рик и Морти   \n",
        "40  Как избежать наказания за убийство   \n",
-       "31                             Ведьмак   \n",
-       "20                            Ганнибал   \n",
-       "46                               Фарго   \n",
+       "35                         Рик и Морти   \n",
        "21                  Половое воспитание   \n",
+       "7                          Доктор Хаус   \n",
+       "12                         Обмани меня   \n",
+       "31                             Ведьмак   \n",
+       "18                  Настоящий детектив   \n",
        "\n",
-       "                                          description  annotation_len  \n",
-       "5   Культовый сериал о том, что школьный учитель, ...             142  \n",
-       "19  Отучившись четыре года в медицинской школе, Дж...              46  \n",
-       "43  Талантливый и некогда известный писатель Хэнк ...              56  \n",
-       "7   Пожалуй, самый известный сериал о медицинских ...             126  \n",
-       "35  В центре сюжета — школьник по имени Морти и ег...              81  \n",
-       "40  Практически производственная драма о нелегкой ...             132  \n",
-       "31  Геральт из Ривии — ведьмак, представитель цеха...             162  \n",
-       "20  Интеллектуальный поединок агента ФБР Уилла Грэ...             149  \n",
-       "46  Первый сезон В январе 2006 года Лорн Малво (Би...             227  \n",
-       "21  Оттис — замкнутый интроверт-девственник, живущ...             117  "
+       "                                          description  annotation_len  \\\n",
+       "5   Культовый сериал о том что школьный учитель ок...             142   \n",
+       "19  Отучившись четыре года в медицинской школе Джо...              46   \n",
+       "43  Талантливый и некогда известный писатель Хэнк ...              56   \n",
+       "40  Практически производственная драма о нелегкой ...             132   \n",
+       "35  В центре сюжета школьник по имени Морти и его ...              81   \n",
+       "21  Оттис замкнутый интровертдевственник живущий с...             117   \n",
+       "7   Пожалуй самый известный сериал о медицинских р...             126   \n",
+       "12  Все люди лгут Каждое движение жест мимолетное ...             139   \n",
+       "31  Геральт из Ривии ведьмак представитель цеха ко...             162   \n",
+       "18  Давно похороненный висяк убийство молодой деву...             152   \n",
+       "\n",
+       "    cosine_similarity  \n",
+       "5            0.514940  \n",
+       "19           0.401157  \n",
+       "43           0.400791  \n",
+       "40           0.355167  \n",
+       "35           0.344527  \n",
+       "21           0.340558  \n",
+       "7            0.320888  \n",
+       "12           0.309987  \n",
+       "31           0.309098  \n",
+       "18           0.308820  "
       ]
      },
-     "execution_count": 37,
+     "execution_count": 133,
      "metadata": {},
      "output_type": "execute_result"
     }
    ],
    "source": [
     "# Пример пользовательского запроса\n",
-    "user_query = \"Учитель больной раком варит метамфетамин\"\n",
+    "user_query = \"Учитель, больной раком, варит метамфетамин\"\n",
+    "top_k_results = search_series(user_query)\n",
+    "top_k_results"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# RuBERT"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 89,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import torch\n",
+    "from transformers import AutoTokenizer, AutoModel\n",
+    "tokenizer = AutoTokenizer.from_pretrained(\"cointegrated/rubert-tiny2\")\n",
+    "model = AutoModel.from_pretrained(\"cointegrated/rubert-tiny2\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 135,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "model = SentenceTransformer('cointegrated/rubert-tiny2') # Используем RuBERT для асимметричного семантического поиска\n",
+    "descriptions = data['description'].tolist()\n",
+    "description_embeddings = model.encode(descriptions, convert_to_tensor=True).cpu().numpy()\n",
+    "\n",
+    "# Нормализация векторов для косинусного сходства\n",
+    "description_embeddings = description_embeddings / np.linalg.norm(description_embeddings, axis=1, keepdims=True)\n",
+    "\n",
+    "# Создание индекса с использованием Faiss для косинусного сходства\n",
+    "dimension = description_embeddings.shape[1]\n",
+    "index = faiss.IndexFlatIP(dimension)\n",
+    "index.add(description_embeddings)\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 138,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/html": [
+       "<div>\n",
+       "<style scoped>\n",
+       "    .dataframe tbody tr th:only-of-type {\n",
+       "        vertical-align: middle;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe tbody tr th {\n",
+       "        vertical-align: top;\n",
+       "    }\n",
+       "\n",
+       "    .dataframe thead th {\n",
+       "        text-align: right;\n",
+       "    }\n",
+       "</style>\n",
+       "<table border=\"1\" class=\"dataframe\">\n",
+       "  <thead>\n",
+       "    <tr style=\"text-align: right;\">\n",
+       "      <th></th>\n",
+       "      <th>page_url</th>\n",
+       "      <th>image_url</th>\n",
+       "      <th>tvshow_title</th>\n",
+       "      <th>description</th>\n",
+       "      <th>annotation_len</th>\n",
+       "      <th>cosine_similarity</th>\n",
+       "    </tr>\n",
+       "  </thead>\n",
+       "  <tbody>\n",
+       "    <tr>\n",
+       "      <th>7</th>\n",
+       "      <td>https://myshows.me/view/1/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/0/73/073db...</td>\n",
+       "      <td>Доктор Хаус</td>\n",
+       "      <td>Пожалуй самый известный сериал о медицинских р...</td>\n",
+       "      <td>126</td>\n",
+       "      <td>0.505964</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>43</th>\n",
+       "      <td>https://myshows.me/view/10/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/8/ac/8ac41...</td>\n",
+       "      <td>Блудливая Калифорния</td>\n",
+       "      <td>Талантливый и некогда известный писатель Хэнк ...</td>\n",
+       "      <td>56</td>\n",
+       "      <td>0.501868</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>19</th>\n",
+       "      <td>https://myshows.me/view/55/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/3/21/32187...</td>\n",
+       "      <td>Клиника</td>\n",
+       "      <td>Отучившись четыре года в медицинской школе Джо...</td>\n",
+       "      <td>46</td>\n",
+       "      <td>0.490041</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>20</th>\n",
+       "      <td>https://myshows.me/view/30443/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/e/e4/ee415...</td>\n",
+       "      <td>Ганнибал</td>\n",
+       "      <td>Интеллектуальный поединок агента ФБР Уилла Грэ...</td>\n",
+       "      <td>149</td>\n",
+       "      <td>0.487131</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>35</th>\n",
+       "      <td>https://myshows.me/view/34737/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/c/72/c7251...</td>\n",
+       "      <td>Рик и Морти</td>\n",
+       "      <td>В центре сюжета школьник по имени Морти и его ...</td>\n",
+       "      <td>81</td>\n",
+       "      <td>0.485575</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>31</th>\n",
+       "      <td>https://myshows.me/view/58610/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/e/76/e763f...</td>\n",
+       "      <td>Ведьмак</td>\n",
+       "      <td>Геральт из Ривии ведьмак представитель цеха ко...</td>\n",
+       "      <td>162</td>\n",
+       "      <td>0.484689</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>44</th>\n",
+       "      <td>https://myshows.me/view/42735/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/4/d6/4d6fa...</td>\n",
+       "      <td>Мистер Робот</td>\n",
+       "      <td>Эллиот Алдерсон молодой человек который живет ...</td>\n",
+       "      <td>127</td>\n",
+       "      <td>0.483426</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>23</th>\n",
+       "      <td>https://myshows.me/view/17483/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/2/c6/2c684...</td>\n",
+       "      <td>Однажды в сказке</td>\n",
+       "      <td>Что если все жители городка под названием Стор...</td>\n",
+       "      <td>147</td>\n",
+       "      <td>0.472772</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>32</th>\n",
+       "      <td>https://myshows.me/view/37432/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/4/1f/41fd6...</td>\n",
+       "      <td>Флэш</td>\n",
+       "      <td>Парень по имени Барри Аллен с детства мечтал с...</td>\n",
+       "      <td>112</td>\n",
+       "      <td>0.469459</td>\n",
+       "    </tr>\n",
+       "    <tr>\n",
+       "      <th>37</th>\n",
+       "      <td>https://myshows.me/view/467/</td>\n",
+       "      <td>https://media.myshows.me/shows/1920/a/96/a9616...</td>\n",
+       "      <td>Тетрадь смерти</td>\n",
+       "      <td>Убийство дело непростое даже для хорошо подгот...</td>\n",
+       "      <td>206</td>\n",
+       "      <td>0.468546</td>\n",
+       "    </tr>\n",
+       "  </tbody>\n",
+       "</table>\n",
+       "</div>"
+      ],
+      "text/plain": [
+       "                          page_url  \\\n",
+       "7       https://myshows.me/view/1/   \n",
+       "43     https://myshows.me/view/10/   \n",
+       "19     https://myshows.me/view/55/   \n",
+       "20  https://myshows.me/view/30443/   \n",
+       "35  https://myshows.me/view/34737/   \n",
+       "31  https://myshows.me/view/58610/   \n",
+       "44  https://myshows.me/view/42735/   \n",
+       "23  https://myshows.me/view/17483/   \n",
+       "32  https://myshows.me/view/37432/   \n",
+       "37    https://myshows.me/view/467/   \n",
+       "\n",
+       "                                            image_url          tvshow_title  \\\n",
+       "7   https://media.myshows.me/shows/1920/0/73/073db...           Доктор Хаус   \n",
+       "43  https://media.myshows.me/shows/1920/8/ac/8ac41...  Блудливая Калифорния   \n",
+       "19  https://media.myshows.me/shows/1920/3/21/32187...               Клиника   \n",
+       "20  https://media.myshows.me/shows/1920/e/e4/ee415...              Ганнибал   \n",
+       "35  https://media.myshows.me/shows/1920/c/72/c7251...           Рик и Морти   \n",
+       "31  https://media.myshows.me/shows/1920/e/76/e763f...               Ведьмак   \n",
+       "44  https://media.myshows.me/shows/1920/4/d6/4d6fa...          Мистер Робот   \n",
+       "23  https://media.myshows.me/shows/1920/2/c6/2c684...      Однажды в сказке   \n",
+       "32  https://media.myshows.me/shows/1920/4/1f/41fd6...                  Флэш   \n",
+       "37  https://media.myshows.me/shows/1920/a/96/a9616...        Тетрадь смерти   \n",
+       "\n",
+       "                                          description  annotation_len  \\\n",
+       "7   Пожалуй самый известный сериал о медицинских р...             126   \n",
+       "43  Талантливый и некогда известный писатель Хэнк ...              56   \n",
+       "19  Отучившись четыре года в медицинской школе Джо...              46   \n",
+       "20  Интеллектуальный поединок агента ФБР Уилла Грэ...             149   \n",
+       "35  В центре сюжета школьник по имени Морти и его ...              81   \n",
+       "31  Геральт из Ривии ведьмак представитель цеха ко...             162   \n",
+       "44  Эллиот Алдерсон молодой человек который живет ...             127   \n",
+       "23  Что если все жители городка под названием Стор...             147   \n",
+       "32  Парень по имени Барри Аллен с детства мечтал с...             112   \n",
+       "37  Убийство дело непростое даже для хорошо подгот...             206   \n",
+       "\n",
+       "    cosine_similarity  \n",
+       "7            0.505964  \n",
+       "43           0.501868  \n",
+       "19           0.490041  \n",
+       "20           0.487131  \n",
+       "35           0.485575  \n",
+       "31           0.484689  \n",
+       "44           0.483426  \n",
+       "23           0.472772  \n",
+       "32           0.469459  \n",
+       "37           0.468546  "
+      ]
+     },
+     "execution_count": 138,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "# Шаг 4: Обработка пользовательского запроса и асимметричный поиск\n",
+    "def search_series(user_query, top_k=10):\n",
+    "    user_query = (user_query)\n",
+    "    query_embedding = model.encode([user_query], convert_to_tensor=True).cpu().numpy()\n",
+    "    query_embedding = query_embedding / np.linalg.norm(query_embedding, axis=1, keepdims=True) # Нормализация\n",
+    "    D, I = index.search(query_embedding, top_k)\n",
+    "    results = data.iloc[I[0]].copy()\n",
+    "    cosine_similarities = D[0]\n",
+    "    results['cosine_similarity'] = cosine_similarities\n",
+    "    return results\n",
+    "\n",
+    "# Пример пользовательского запроса\n",
+    "user_query = \"Учитель, больной раком, варит метфмфетамин\"\n",
     "top_k_results = search_series(user_query)\n",
     "top_k_results"
    ]