Add new SentenceTransformer model

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,780 @@
+---
+language:
+- en
+license: mit
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:13186
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: nomic-ai/nomic-embed-text-v2-moe
+widget:
+- source_sentence: Гражданин Иванов взял в займ у гражданина Петрова 50 000 рублей
+    без указания процентов в договоре. Через год Иванов вернул долг. Какие проценты
+    должен был выплатить Иванов Петрову?
+  sentences:
+  - <p>1. Заказчик, получивший сообщение подрядчика о готовности к сдаче результата
+    выполненных по договору строительного подряда работ либо, если это предусмотрено
+    договором, выполненного этапа работ, обязан немедленно приступить к его приемке.</p><p>2.
+    Заказчик организует и осуществляет приемку результата работ за свой счет, если
+    иное не предусмотрено договором строительного подряда.</p><p>В предусмотренных
+    законом или иными правовыми актами случаях в приемке результата работ должны участвовать
+    представители государственных органов и органов местного самоуправления.</p><p>3.
+    Заказчик, предварительно принявший результат отдельного этапа работ, несет риск
+    последствий гибели или повреждения результата работ, которые произошли не по вине
+    подрядчика.</p><p>4. Сдача результата работ подрядчиком и приемка его заказчиком
+    оформляются актом, подписанным обеими сторонами. При отказе одной из сторон от
+    подписания акта в нем делается отметка об этом и акт подписывается другой стороной.</p><p>Односторонний
+    акт сдачи или приемки результата работ может быть признан судом недействительным
+    лишь в случае, если мотивы отказа от подписания акта признаны им обоснованными.</p><p>5.
+    В случаях, когда это предусмотрено законом или договором строительного подряда
+    либо вытекает из характера работ, выполняемых по договору, приемке результата
+    работ должны предшествовать предварительные испытания. В этих случаях приемка
+    может осуществляться только при положительном результате предварительных испытаний.</p><p>6.
+    Заказчик вправе отказаться от приемки результата работ в случае обнаружения недостатков,
+    которые исключают возможность его использования для указанной в договоре строительного
+    подряда цели и не могут быть устранены подрядчиком или заказчиком.</p>
+  - <p>Перевозчик обязан доставить груз, пассажира или багаж в пункт назначения в
+    сроки, определенные в порядке, предусмотренном транспортными уставами, кодексами
+    и иными законами, а при отсутствии таких сроков в разумный срок. (В редакции Федерального
+    закона <a href="102456097">от 29.12.2017 № 442-ФЗ</a>)</p>
+  - <p>1. Если иное не предусмотрено законом или договором займа, займодавец имеет
+    право на получение с заемщика процентов за пользование займом в размерах и в порядке,
+    определенных договором. При отсутствии в договоре условия о размере процентов
+    за пользование займом их размер определяется ключевой ставкой Банка России, действовавшей
+    в соответствующие периоды.</p><p>2. Размер процентов за пользование займом может
+    быть установлен в договоре с применением ставки в процентах годовых в виде фиксированной
+    величины, с применением ставки в процентах годовых, величина которой может изменяться
+    в зависимости от предусмотренных договором условий, в том числе в зависимости
+    от изменения переменной величины, либо иным путем, позволяющим определить надлежащий
+    размер процентов на момент их уплаты.</p><p>3. При отсутствии иного соглашения
+    проценты за пользование займом выплачиваются ежемесячно до дня возврата займа
+    включительно.</p><p>4. Договор займа предполагается беспроцентным, если в нем
+    прямо не предусмотрено иное, в случаях, когда:</p><p>договор заключен между гражданами,
+    в том числе индивидуальными предпринимателями, на сумму, не превышающую ста тысяч
+    рублей;</p><p>по договору заемщику передаются не деньги, а другие вещи, определенные
+    родовыми признаками.</p><p>5. Размер процентов за пользование займом по договору
+    займа, заключенному между гражданами или между юридическим лицом, не осуществляющим
+    профессиональной деятельности по предоставлению потребительских займов, и заемщиком-гражданином,
+    в два и более раза превышающий обычно взимаемые в подобных случаях проценты и
+    поэтому являющийся чрезмерно обременительным для должника (ростовщические проценты),
+    может быть уменьшен судом до размера процентов, обычно взимаемых при сравнимых
+    обстоятельствах.</p>
+- source_sentence: Может ли собственник, владеющий 10% доли в общем имуществе многоквартирного
+    дома, отказаться от участия в оплате капитального ремонта крыши, если он считает,
+    что ремонт не нужен?  Укажите, при каких условиях это возможно.
+  sentences:
+  - <p>При передаче в доверительное управление ценных бумаг может быть предусмотрено
+    объединение ценных бумаг, передаваемых в доверительное управление разными лицами.</p><p>Правомочия
+    доверительного управляющего по распоряжению ценными бумагами определяются в договоре
+    доверительного управления.</p><p>Особенности доверительного управления ценными
+    бумагами определяются законом.</p><p>Правила настоящей статьи соответственно применяются
+    к правам, удостоверенным бездокументарными ценными бумагами (статья 149).</p>
+  - <p>Принадлежащее пережившему супругу наследодателя в силу завещания или закона
+    право наследования не умаляет его права на часть имущества, нажитого во время
+    брака с наследодателем и являющегося их совместной собственностью. Доля умершего
+    супруга в этом имуществе, определяемая в соответствии со статьей 256 настоящего
+    Кодекса, входит в состав наследства и переходит к наследникам в соответствии с
+    правилами, установленными настоящим Кодексом.</p><p>Иное может быть предусмотрено
+    совместным завещанием супругов или наследственным договором. (Дополнение частью
+    - Федеральный закон <a href="102476871">от 19.07.2018 № 217-ФЗ</a>)</p>
+  - <p>1. Если иное не установлено единогласным решением собственников недвижимых
+    вещей, каждый собственник недвижимой вещи обязан участвовать в расходах и издержках
+    по содержанию и сохранению общего имущества соразмерно со своей долей в праве
+    на общее имущество (пункт 1 статьи 259.2). Собственник недвижимой вещи, в результате
+    действий или бездействия которого возникают дополнительные расходы и издержки
+    по содержанию и сохранению общего имущества, обязан их покрывать.</p><p>2. Каждый
+    собственник недвижимой вещи обязан соразмерно со своей долей в праве общей собственности
+    на общее имущество (пункт 1 статьи 259.2) участвовать в уплате налогов, сборов
+    и иных обязательных платежей, связанных с общим имуществом.</p>
+- source_sentence: Гражданин Петров заключил наследственный договор со своей племянницей
+    Ивановой. Через год Петров решил отказаться от договора. Он уведомил Иванову о
+    своем отказе, но не удостоверил уведомление нотариально. Иванова понесла убытки
+    в связи с исполнением договора.  Может ли Иванова требовать от Петрова возмещения
+    убытков, и если да, то в каком объеме?
+  sentences:
+  - <p>10. Наследодатель вправе совершить в любое время односторонний отказ от наследственного
+    договора путем уведомления всех сторон наследственного договора о таком отказе.
+    Уведомление об отказе наследодателя от наследственного договора подлежит нотариальному
+    удостоверению. Нотариус, удостоверивший уведомление об отказе наследодателя от
+    наследственного договора, обязан в порядке, предусмотренном законодательством
+    о нотариате и нотариальной деятельности, в течение трех рабочих дней направить
+    копию этого уведомления другим сторонам наследственного договора.</p><p>Наследодатель,
+    отказавшийся от наследственного договора, обязан возместить другим сторонам наследственного
+    договора убытки, которые возникли у них в связи с исполнением наследственного
+    договора к моменту получения копии уведомления об отказе наследодателя от наследственного
+    договора.</p><p>Другие стороны наследственного договора вправе совершить односторонний
+    отказ от наследственного договора в порядке, предусмотренном законом или наследственным
+    договором.</p><p>11. Наследственный договор может быть оспорен при жизни наследодателя
+    по иску стороны наследственного договора, а после открытия наследства по иску
+    лица, права или законные интересы которого нарушены этим наследственным договором.</p><p>12.
+    После заключения наследственного договора наследодатель вправе совершать любые
+    сделки в отношении принадлежащего ему имущества и иным образом распоряжаться принадлежащим
+    ему имуществом своей волей и в своем интересе, даже если такое распоряжение л��шит
+    лицо, которое может быть призвано к наследованию, прав на имущество наследодателя.
+    Соглашение об ином ничтожно.</p><p>(Дополнение статьей - Федеральный закон <a
+    href="102476871">от 19.07.2018 № 217-ФЗ</a>)</p>
+  - <p>В случаях, когда заказчик на основании пункта 2 статьи 715 или пункта 3 статьи
+    723 настоящего Кодекса расторгает договор подряда, подрядчик обязан возвратить
+    предоставленные заказчиком материалы, оборудование, переданную для переработки
+    (обработки) вещь и иное имущество либо передать их указанному заказчиком лицу,
+    а если это оказалось невозможным, - возместить стоимость материалов, оборудования
+    и иного имущества.</p>
+  - <p>4. Акционеры публичного общества, голосовавшие против или не принимавшие участия
+    в голосовании по вопросу, указанному в пункте 3 настоящей статьи, вправе требовать
+    выкупа обществом принадлежащих им акций в соответствии с правилами, установленными
+    статьями 75 и 76 настоящего Федерального закона.</p><p>Решения по вопросу, указанному
+    в пункте 3 настоящей статьи, вступают в силу при условии, что общее количество
+    акций, в отношении которых заявлены требования о выкупе, не превышает количество
+    акций, которое может быть выкуплено обществом с учетом ограничения, установленного
+    пунктом 5 статьи 76 настоящего Федерального закона.</p><p>(Дополнение статьей
+    - Федеральный закон <a href="102375391">от 29.06.2015 № 210-ФЗ</a>)</p>
+- source_sentence: Умерший Сидоров не оставил после себя наследников первой очереди.
+    У него есть сестра, которая имеет двоих детей.  Кроме того, у Сидорова есть дедушка
+    и бабушка по материнской линии. Кто наследует имущество Сидорова, и кто наследует
+    по праву представления?
+  sentences:
+  - <p>1. Одаряемый вправе в любое время до передачи ему дара от него отказаться.
+    В этом случае договор дарения считается расторгнутым.</p><p>2. Если договор дарения
+    заключен в письменной форме, отказ от дара должен быть совершен также в письменной
+    форме. В случае, когда договор дарения зарегистрирован (пункт 3 статьи 574), отказ
+    от принятия дара также подлежит государственной регистрации.</p><p>3. Если договор
+    дарения был заключен в письменной форме, даритель вправе требовать от одаряемого
+    возмещения реального ущерба, причиненного отказом принять дар.</p>
+  - <p>1. Если нет наследников первой очереди, наследниками второй очереди по закону
+    являются полнородные и неполнородные братья и сестры наследодателя, его дедушка
+    и бабушка как со стороны отца, так и со стороны матери.</p><p>2. Дети полнородных
+    и неполнородных братьев и сестер наследодателя (племянники и племянницы наследодателя)
+    наследуют по праву представления.</p>
+  - <p>1. Патент на селекционное достижение может быть признан недействительным в
+    течение срока его действия, если будет установлено, что:</p><p>1) патент выдан
+    на основании неподтвердившихся данных об однородност�� и о стабильности селекционного
+    достижения, представленных заявителем;</p><p>2) на дату выдачи патента селекционное
+    достижение не соответствовало критерию новизны или отличимости;</p><p>3) лицо,
+    указанное в патенте в качестве патентообладателя, не имело законных оснований
+    для получения патента.</p><p>2. Выдача патента на селекционное достижение может
+    быть оспорена любым лицом, которому стало известно о нарушениях, предусмотренных
+    пунктом 1 настоящей статьи, путем подачи заявления в федеральный орган исполнительной
+    власти по селекционным достижениям.</p><p>Федеральный орган исполнительной власти
+    по селекционным достижениям направляет копию указанного заявления патентообладателю,
+    который в течение трех месяцев со дня направления ему такой копии может представить
+    мотивированное возражение.</p><p>Федеральный орган исполнительной власти по селекционным
+    достижениям должен принять решение по указанному заявлению в течение шести месяцев
+    со дня подачи указанного заявления, если не потребуется проведение дополнительных
+    испытаний.</p><p>3. Патент на селекционное достижение, признанный недействительным,
+    аннулируется со дня подачи заявки на выдачу патента. При этом лицензионные договоры,
+    заключенные до принятия решения о недействительности патента, сохраняют свое действие
+    в той мере, в какой они были исполнены к этому дню.</p><p>4. Признание патента
+    на селекционное достижение недействительным означает отмену решения федерального
+    органа исполнительной власти по селекционным достижениям о выдаче патента (статья
+    1439) и аннулирование соответствующей записи в Государственном реестре охраняемых
+    селекционных достижений.</p>
+- source_sentence: Если гражданин, ограниченный в дееспособности из-за психического
+    расстройства, совершил сделку, повлекшую имущественные потери, кто несет ответственность
+    за причиненный ущерб и на каких основаниях?
+  sentences:
+  - <p>1. По договору складского хранения товарный склад (хранитель) обязуется за
+    вознаграждение хранить товары, переданные ему товаровладельцем (поклажедателем),
+    и возвратить эти товары в сохранности.</p><p>Товарным складом признается организация,
+    осуществляющая в качестве предпринимательской деятельности хранение товаров и
+    оказывающая связанные с хранением услуги.</p><p>2. Письменная форма договора складского
+    хранения считается соблюденной, если его заключение и принятие товара на склад
+    удостоверены складским документом (статья 912).</p>
+  - <p>1. Если договором купли-продажи предусмотрена обязанность продавца передать
+    покупателю определенный набор товаров в комплекте (комплект товаров), обязательство
+    считается исполненным с момента передачи всех товаров, включенных в комплект.</p><p>2.
+    Если иное не предусмотрено договором купли-продажи и не вытекает из су��ества обязательства,
+    продавец обязан передать покупателю все товары, входящие в комплект, одновременно.</p>
+  - <p>Гражданин, ограниченный судом в дееспособности по основаниям, предусмотренным
+    настоящим пунктом, может распоряжаться выплачиваемыми на него алиментами, социальной
+    пенсией, возмещением вреда здоровью и в связи со смертью кормильца и иными предоставляемыми
+    на его содержание выплатами с письменного согласия попечителя, за исключением
+    выплат, которые указаны в подпункте 1 пункта 2 статьи 26 настоящего Кодекса и
+    которыми он вправе распоряжаться самостоятельно. Такой гражданин вправе распоряжаться
+    указанными выплатами в течение срока, определенного попечителем. Распоряжение
+    указанными выплатами может быть прекращено до истечения данного срока по решению
+    попечителя.</p><p>При наличии достаточных оснований суд по ходатайству попечителя
+    либо органа опеки и попечительства может ограничить или лишить такого гражданина
+    права самостоятельно распоряжаться своими доходами, указанными в подпункте 1 пункта
+    2 статьи 26 настоящего Кодекса.</p><p>Гражданин, дееспособность которого ограничена
+    вследствие психического расстройства, самостоятельно несет имущественную ответственность
+    по сделкам, совершенным им в соответствии с настоящей статьей. За причиненный
+    им вред такой гражданин несет ответственность в соответствии с настоящим Кодексом.</p><p>(Пункт
+    в редакции Федерального закона <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p><p>3.
+    Если основания, в силу которых гражданин был ограничен в дееспособности, отпали,
+    суд отменяет ограничение его дееспособности. На основании решения суда отменяется
+    установленное над гражданином попечительство.</p><p>Если психическое состояние
+    гражданина, который вследствие психического расстройства был в соответствии с
+    пунктом 2 настоящей статьи ограничен в дееспособности, изменилось, суд признает
+    его недееспособным в соответствии со статьей 29 настоящего Кодекса или отменяет
+    ограничение его дееспособности.</p><p>(Дополнение пунктом - Федеральный закон
+    <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p>
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: tuned nomic v2
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.0068212824010914054
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.08321964529331514
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.46248294679399726
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7933151432469304
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.0068212824010914054
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.027739881764438375
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.09249658935879947
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07933151432469303
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.0068212824010914054
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.08321964529331514
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.46248294679399726
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7933151432469304
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.31641269883522866
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.1717382359947135
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.18416268406289302
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.007503410641200546
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.07366984993178717
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.4433833560709413
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7851296043656207
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.007503410641200546
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.02455661664392906
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.08867667121418826
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07851296043656207
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.007503410641200546
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.07366984993178717
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.4433833560709413
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7851296043656207
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.3120146406417205
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.16864159033326584
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.18144585630264604
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.0068212824010914054
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.07503410641200546
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.422237380627558
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7701227830832197
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.0068212824010914054
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.02501136880400182
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.0844474761255116
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07701227830832195
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.0068212824010914054
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.07503410641200546
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.422237380627558
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7701227830832197
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.30479184560913625
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.16402369042205106
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.17692662052162458
+      name: Cosine Map@100
+---
+
+# tuned nomic v2
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [nomic-ai/nomic-embed-text-v2-moe](https://huggingface.co/nomic-ai/nomic-embed-text-v2-moe) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [nomic-ai/nomic-embed-text-v2-moe](https://huggingface.co/nomic-ai/nomic-embed-text-v2-moe) <!-- at revision 45301cc35fd6988724c4698ee0d97981889ef7a0 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** mit
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("DGSMsRzJ6xC2JthtHG9W/nomic-v2-tuned-1")
+# Run inference
+sentences = [
+    'Если гражданин, ограниченный в дееспособности из-за психического расстройства, совершил сделку, повлекшую имущественные потери, кто несет ответственность за причиненный ущерб и на каких основаниях?',
+    '<p>Гражданин, ограниченный судом в дееспособности по основаниям, предусмотренным настоящим пунктом, может распоряжаться выплачиваемыми на него алиментами, социальной пенсией, возмещением вреда здоровью и в связи со смертью кормильца и иными предоставляемыми на его содержание выплатами с письменного согласия попечителя, за исключением выплат, которые указаны в подпункте 1 пункта 2 статьи 26 настоящего Кодекса и которыми он вправе распоряжаться самостоятельно. Такой гражданин вправе распоряжаться указанными выплатами в течение срока, определенного попечителем. Распоряжение указанными выплатами может быть прекращено до истечения данного срока по решению попечителя.</p><p>При наличии достаточных оснований суд по ходатайству попечителя либо органа опеки и попечительства может ограничить или лишить такого гражданина права самостоятельно распоряжаться своими доходами, указанными в подпункте 1 пункта 2 статьи 26 настоящего Кодекса.</p><p>Гражданин, дееспособность которого ограничена вследствие психического расстройства, самостоятельно несет имущественную ответственность по сделкам, совершенным им в соответствии с настоящей статьей. За причиненный им вред такой гражданин несет ответственность в соответствии с настоящим Кодексом.</p><p>(Пункт в редакции Федерального закона <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p><p>3. Если основания, в силу которых гражданин был ограничен в дееспособности, отпали, суд отменяет ограничение его дееспособности. На основании решения суда отменяется установленное над гражданином попечительство.</p><p>Если психическое состояние гражданина, который вследствие психического расстройства был в соответствии с пунктом 2 настоящей статьи ограничен в дееспособности, изменилось, суд признает его недееспособным в соответствии со статьей 29 настоящего Кодекса или отменяет ограничение его дееспособности.</p><p>(Дополнение пунктом - Федеральный закон <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p>',
+    '<p>1. По договору складского хранения товарный склад (хранитель) обязуется за вознаграждение хранить товары, переданные ему товаровладельцем (поклажедателем), и возвратить эти товары в сохранности.</p><p>Товарным складом признается организация, осуществляющая в качестве предпринимательской деятельности хранение товаров и оказывающая связанные с хранением услуги.</p><p>2. Письменная форма договора складского хранения считается соблюденной, если его заключение и принятие товара на склад удостоверены складским документом (статья 912).</p>',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Datasets: `dim_768`, `dim_512` and `dim_256`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | dim_768    | dim_512   | dim_256    |
+|:--------------------|:-----------|:----------|:-----------|
+| cosine_accuracy@1   | 0.0068     | 0.0075    | 0.0068     |
+| cosine_accuracy@3   | 0.0832     | 0.0737    | 0.075      |
+| cosine_accuracy@5   | 0.4625     | 0.4434    | 0.4222     |
+| cosine_accuracy@10  | 0.7933     | 0.7851    | 0.7701     |
+| cosine_precision@1  | 0.0068     | 0.0075    | 0.0068     |
+| cosine_precision@3  | 0.0277     | 0.0246    | 0.025      |
+| cosine_precision@5  | 0.0925     | 0.0887    | 0.0844     |
+| cosine_precision@10 | 0.0793     | 0.0785    | 0.077      |
+| cosine_recall@1     | 0.0068     | 0.0075    | 0.0068     |
+| cosine_recall@3     | 0.0832     | 0.0737    | 0.075      |
+| cosine_recall@5     | 0.4625     | 0.4434    | 0.4222     |
+| cosine_recall@10    | 0.7933     | 0.7851    | 0.7701     |
+| **cosine_ndcg@10**  | **0.3164** | **0.312** | **0.3048** |
+| cosine_mrr@10       | 0.1717     | 0.1686    | 0.164      |
+| cosine_map@100      | 0.1842     | 0.1814    | 0.1769     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 13,186 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                              | positive                                                                            |
+  |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                              |
+  | details | <ul><li>min: 19 tokens</li><li>mean: 59.74 tokens</li><li>max: 162 tokens</li></ul> | <ul><li>min: 40 tokens</li><li>mean: 257.8 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                                                                                                                  | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Предположим, работник должника действовал вопреки указаниям руководства и тем самым причинил ущерб кредитору.  Изменит ли это подход к определению ответственности должника?</code>                                                                                                                                                                                                               | <code><p>Действия работников должника по исполнению его обязательства считаются действиями должника. Должник отвечает за эти действия, если они повлекли неисполнение или ненадлежащее исполнение обязательства.</p></code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
+  | <code>Композитор Петров заключил договор с аккредитованной организацией «Мелодия» на управление правами на его произведения. Через год Петров решил передать права на управление одной конкретной песней новой организации «Звук». Какие действия должен предпринять Петров, чтобы передать права на управление песней организации «Звук», и какие обязательства при этом возникают у «Мелодии»?</code> | <code><p>Наличие аккредитованной организации не препятствует созданию других организаций по управлению правами на коллективной основе, в том числе в сферах коллективного управления, указанных в пункте 1 настоящей статьи. Такие организации вправе заключать договоры с пользователями только в интересах правообладателей, предоставивших им полномочия по управлению правами в порядке, предусмотренном пунктом 3 статьи 1242 настоящего Кодекса.</p><p>4. Правообладатель, не заключивший с аккредитованной организацией договора о передаче полномочий по управлению правами (пункт 3 настоящей статьи), вправе в любой момент полностью или частично отказаться от управления этой организацией его правами. Правообладатель должен письменно уведомить о своем решении аккредитованную организацию. В случае, если правообладатель намеревается отказаться от управления аккредитованной организацией только частью авторских или смежных прав и (или) объектов этих прав, он должен представить ей перечень таких исключаемых прав и...</code> |
+  | <code>Мария получила цифровое право на использование музыкального трека в онлайн-сервисе.  Правила сервиса не определяют, кто является обладателем цифрового права в случае смерти пользователя. Мария умерла. Кто будет считаться обладателем цифрового права на музыкальный трек после смерти Марии, согласно тексту статьи?</code>                                                                   | <code><p>1. Цифровыми правами признаются названные в таком качестве в законе обязательственные и иные права, содержание и условия осуществления которых определяются в соответствии с правилами информационной системы, отвечающей установленным законом признакам. Осуществление, распоряжение, в том числе передача, залог, обременение цифрового права другими способами или ограничение распоряжения цифровым правом возможны только в информационной системе без обращения к третьему лицу.</p><p>2. Если иное не предусмотрено законом, обладателем цифрового права признается лицо, которое в соответствии с правилами информационной системы имеет возможность распоряжаться этим правом. В случаях и по основаниям, которые предусмотрены законом, обладателем цифрового права признается иное лицо.</p><p>3. Переход цифрового права на основании сделки не требует согласия лица, обязанного по такому цифровому праву.</p><p>(Дополнение статьей - Федеральный закон <a href="102528600">от 18.03.2019 № 34-ФЗ</a>)</p></code>               |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 32
+- `per_device_eval_batch_size`: 16
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 4
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `tf32`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 32
+- `per_device_eval_batch_size`: 16
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 4
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: True
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `eval_use_gather_object`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch      | Step    | Training Loss | dim_768_cosine_ndcg@10 | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 |
+|:----------:|:-------:|:-------------:|:----------------------:|:----------------------:|:----------------------:|
+| 0.3874     | 10      | 0.7904        | -                      | -                      | -                      |
+| 0.7748     | 20      | 0.3376        | -                      | -                      | -                      |
+| 0.9685     | 25      | -             | 0.3066                 | 0.3046                 | 0.2903                 |
+| 1.1622     | 30      | 0.2443        | -                      | -                      | -                      |
+| 1.5496     | 40      | 0.1593        | -                      | -                      | -                      |
+| 1.9370     | 50      | 0.1378        | -                      | -                      | -                      |
+| 1.9758     | 51      | -             | 0.3164                 | 0.3133                 | 0.3031                 |
+| 2.3245     | 60      | 0.1064        | -                      | -                      | -                      |
+| 2.7119     | 70      | 0.0956        | -                      | -                      | -                      |
+| 2.9831     | 77      | -             | 0.3159                 | 0.3141                 | 0.3034                 |
+| 3.0993     | 80      | 0.0915        | -                      | -                      | -                      |
+| 3.4867     | 90      | 0.0847        | -                      | -                      | -                      |
+| **3.8741** | **100** | **0.0885**    | **0.3164**             | **0.312**              | **0.3048**             |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.11.11
+- Sentence Transformers: 3.4.1
+- Transformers: 4.43.0
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.3.0
+- Datasets: 3.3.2
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,74 @@
+{
+  "_name_or_path": "nomic-ai/nomic-embed-text-v2-moe",
+  "activation_function": "gelu",
+  "add_pooling_layer": false,
+  "architectures": [
+    "NomicBertModel"
+  ],
+  "attn_pdrop": 0.0,
+  "auto_map": {
+    "AutoConfig": "nomic-ai/nomic-bert-2048--configuration_hf_nomic_bert.NomicBertConfig",
+    "AutoModel": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertModel",
+    "AutoModelForMaskedLM": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForPreTraining",
+    "AutoModelForMultipleChoice": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForMultipleChoice",
+    "AutoModelForQuestionAnswering": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForQuestionAnswering",
+    "AutoModelForSequenceClassification": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForSequenceClassification",
+    "AutoModelForTokenClassification": "nomic-ai/nomic-bert-2048--modeling_hf_nomic_bert.NomicBertForTokenClassification"
+  },
+  "bos_token_id": null,
+  "causal": false,
+  "dense_seq_output": true,
+  "embd_pdrop": 0.1,
+  "eos_token_id": null,
+  "expert_choice_router": false,
+  "ffn_div": 1,
+  "fused_bias_fc": true,
+  "fused_dropout_add_ln": true,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "max_trained_positions": 2048,
+  "mlp_fc1_bias": true,
+  "mlp_fc2_bias": true,
+  "model_type": "nomic_bert",
+  "moe_every_n_layers": 2,
+  "moe_impl": "megablocks",
+  "moe_normalize_expert_weights": false,
+  "moe_resid_pdrop": 0.0,
+  "moe_top_k": 2,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": 3072,
+  "n_layer": 12,
+  "n_positions": 2048,
+  "num_experts": 8,
+  "num_shared_experts": 0,
+  "pad_token_id": 1,
+  "pad_vocab_size_multiple": 64,
+  "parallel_block": false,
+  "parallel_block_tied_norm": false,
+  "prenorm": false,
+  "qkv_proj_bias": true,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.0,
+  "rotary_emb_base": 10000,
+  "rotary_emb_fraction": 1.0,
+  "rotary_emb_interleaved": false,
+  "rotary_emb_scale_base": null,
+  "rotary_scaling_factor": null,
+  "router_aux_loss_coef": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.43.0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "use_flash_attn": true,
+  "use_rms_norm": null,
+  "use_xentropy": true,
+  "vocab_size": 250048
+}

config_sentence_transformers.json

@@ -0,0 +1,20 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.4.1",
+    "transformers": "4.43.0",
+    "pytorch": "2.6.0+cu124"
+  },
+  "prompts": {
+    "query": "search_query: ",
+    "passage": "search_document: ",
+    "Classification": "classification: ",
+    "MultilabelClassification": "classification: ",
+    "Clustering": "clustering: ",
+    "PairClassification": "classification: ",
+    "STS": "classification: ",
+    "Summarization": "classification: ",
+    "Speed": "search_document: "
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f2fa79171794a0e911be96ca7c3b21808bf57acb973a0e1407496b88f9d8a501
+size 1901187232

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "unk_token": "<unk>"
+}