---
tags:
- setfit
- sentence-transformers
- text-classification
- generated_from_setfit_trainer
widget:
- text: 통화 중에 전화가 자꾸 끊기거나 기다리게 하는 기능이 있으면 좋겠는데 어떻게 해야 하나요?
- text: 새로 산 휴대폰 언제부터 사용할 수 있는지 알려줄 수 있어?
- text: 문자 확인하려고 몇 번을 기다려도 아무것도 안 오네요
- text: 어제 핸드폰이 갑자기 사라져서 당황스러워요 어디서 잃어버린 건지 모르겠네요
- text: 요즘 이상한 번호에서 자꾸 전화가 와서 좀 막을 방법이 있을까요?
metrics:
- accuracy
pipeline_tag: text-classification
library_name: setfit
inference: true
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
---

# SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

## Model Details

### Model Description
- **Model Type:** SetFit
- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
- **Maximum Sequence Length:** 128 tokens
- **Number of Classes:** 36 classes
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)

### Model Labels
| Label                      | Examples                                                                                                                                                                          |
|:---------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [단말기]모바일 U+Shop            | <ul><li>'인터넷 가입하려고 하는데 최신 기종으로 바로 받고 싶어요'</li><li>'이번에 새로 나온 스마트폰으로 바꾸려고 하는데 절차가 어떻게 되나요?'</li><li>'요즘 나온 휴대폰 중에 사진도 잘 나오고 성능 좋은 게 뭐가 있을까요?'</li></ul>                            |
| [콜봇공통]장애처리                 | <ul><li>'전화할 때 자꾸 끊기고 목소리가 잘 안 들려서 답답해요'</li><li>'새로 산 폰인데 인터넷 연결이 전혀 안 돼서 당황스러워요'</li><li>'인터넷이 갑자기 너무 느려져서 영상도 제대로 못 보고 있어요'</li></ul>                                          |
| [콜봇상담]IPTV장애               | <ul><li>'어제부터 채널이 계속 안 나오고 화면이 멈춰서 어떻게 해야 할지 모르겠어요'</li><li>'어제부터 채널을 바꿔도 화면이 계속 멈춰서 볼 수가 없어요'</li><li>'어제부터 티비 화면이 깜빡거리면서 제대로 안 보여서 답답해요'</li></ul>                              |
| [콜봇상담]결합상품문의               | <ul><li>'가족들 휴대폰 요금이 너무 따로따로 나와서 묶는 게 가능한지 궁금해요'</li><li>'가족끼리 쓰는 거랑 따로 쓰는 거랑 차이가 있나요?'</li><li>'같이 묶어서 쓰던 서비스 중 하나를 따로 써야 할 것 같은데 어떻게 해야 할까요'</li></ul>                          |
| [콜봇상담]기기변경문의               | <ul><li>'아이가 새로 산 핸드폰으로 번호 옮길 때 어떻게 해야 할까요?'</li><li>'폰 바꾸려고 하는데 절차가 어떻게 되는지 알려줄 수 있어요?'</li><li>'며칠 전에 새로 바꾼 폰이 마음에 안 들어서 원래 쓰던 걸로 다시 쓸 수 있을까요?'</li></ul>                       |
| [콜봇상담]납부방법변경               | <ul><li>'이번 달부터는 통장으로 자동으로 빠져나가지 않게 설정하고 싶은데 어떻게 해야 하나요?'</li><li>'매달 걱정 없이 요금이 자동으로 빠져나가게 할 수는 없나요?'</li><li>'이번 달부터 출금 계좌를 다른 곳으로 바꾸고 싶은데 어떻게 하면 되나요?'</li></ul>                |
| [콜봇상담]납부확인서 발급             | <ul><li>'작년에 쓴 핸드폰 요금 내역서가 필요해서 받을 수 있을까요?'</li><li>'이번 달에 인터넷이나 전화 비용이 제대로 빠져나갔는지 확인하고 싶어요'</li><li>'작년에 낸 납부 내역서 다시 받을 수 있을까요?'</li></ul>                                       |
| [콜봇상담]듀얼넘버 문의              | <ul><li>'전화 두 개 번호를 한 번에 관리할 수 있는 방법 있나요?'</li><li>'핸드폰 번호 하나 더 쓰고 싶은데 어떻게 해야 할까요?'</li><li>'요즘 번호 두 개 동시에 쓰는 게 가능하다고 들었는데 어떻게 하는 건지 궁금해요.'</li></ul>                             |
| [콜봇상담]모바일 부가서비스 가입 및 해지    | <ul><li>'지난달에 신청했던 서비스가 자동으로 계속 결제되는 것 같은데 어떻게 하면 멈출 수 있을까요?'</li><li>'핸드폰으로 평소와 다르게 편리한 기능을 더 쓰고 싶어서요'</li><li>'이용할 수 없던 기능이 갑자기 다시 작동하게 됐는데 어떻게 된 건지 궁금해요'</li></ul>            |
| [콜봇상담]선택약정할인상태 안내 및 등록기능   | <ul><li>'이번 달 통신비가 갑자기 많이 나와서 혹시 할인받을 수 있는 방법이 있는지 궁금합니다'</li><li>'통신비 할인을 받을 수 있는 조건이 뭔지 좀 알려줄 수 있어요?'</li><li>'몇 달째 할인 혜택이 제대로 적용되고 있는지 확인을 못하고 있어서요'</li></ul>                 |
| [콜봇상담]세금계산서발행              | <ul><li>'연말에 정산하려고 보니 영수증 같은 게 필요하던데, 어떻게 챙겨야 하나요?'</li><li>'작년에 벌어들인 소득 정리하느라 정신이 없어요, 세금 증빙 서류도 어떻게 챙겨야 할지 막막하고요'</li><li>'지난 달에 카드 결제 내역 중에 이상하게 추가된 게 있어서 확인하고 싶어요'</li></ul> |
| [콜봇상담]스팸차단 서비스 신청 및 해지     | <ul><li>'요즘 자꾸 이상한 전화가 와서 좀 골치예요'</li><li>'잘 모르는 번호에서 계속 전화가 와서 못 받겠어요, 좀 방법 없을까요?'</li><li>'요즘 알 수 없는 번호로 자꾸 이상한 문자들이 와서 좀 귀찮네요'</li></ul>                                       |
| [콜봇상담]약정문의(공통)             | <ul><li>'사용하고 있는 서비스 기간이 언제까지인지 좀 확인하고 싶어요'</li><li>'계약이 끝나면 자동으로 요금이 바뀌는 건가요?'</li><li>'그동안 계속 쓰던 할인 혜택이 갑자기 안 되는 것 같은데, 이게 계약 기간과 관련된 문제일까요?'</li></ul>                         |
| [콜봇상담]연체문의(공통)             | <ul><li>'이번 달 휴대폰 요금 고지서에 이상한 부분이 있는 것 같은데 확인 좀 부탁드려요'</li><li>'아까 청구서 보고 깜짝 놀랐는데, 왜 이렇게 이전 달 요금이 아직 정산이 안 된 건가요?'</li><li>'이번 달 통신비가 왜 이렇게 많이 나왔는지 확인해보고 싶어요'</li></ul>          |
| [콜봇상담]요금납부                 | <ul><li>'이번 달 요금 부담이 좀 커서 한 번에 전부 내기 힘들 것 같은데, 나눠서 결제할 수는 없나요?'</li><li>'이번 달 통신비가 어떻게 나왔는지 좀 확인하고 싶어요'</li><li>'이번 달 요금이 갑자기 많이 나와서 나눠서 낼 수 있는 방법이 있을까요?'</li></ul>              |
| [콜봇상담]요금문의(공통)             | <ul><li>'이번 달 통신비가 갑자기 많이 나온 것 같은데 이유를 알 수 있을까요?'</li><li>'이번 달 핸드폰 요금이 평소보다 많이 나와서 좀 확인하고 싶어요'</li><li>'이번 달 통신비가 평소보다 너무 많이 나온 것 같은데 무슨 이유인지 확인할 수 있을까요?'</li></ul>             |
| [콜봇상담]요금제변경                | <ul><li>'이번 달 청구서가 갑자기 달라져서 어떻게 된 건지 확인하고 싶어요'</li><li>'이번 달 청구서가 갑자기 많이 나왔는데 뭐가 달라진 건지 잘 모르겠어요'</li><li>'이번 달에는 조금 더 저렴하게 바꿀 수 있는 방법이 있을까요?'</li></ul>                           |
| [콜봇상담]유심 구매 및 이동 문의        | <ul><li>'핸드폰 번호를 바꾸지 않고 새 기기로 바꾸려면 어떻게 해야 하나요?'</li><li>'새 핸드폰 사려고 하는데 기존 번호 그대로 쓰고 싶은데 어떻게 해야 하나요?'</li><li>'다른 곳에서 쓰던 번호를 여기 핸드폰에 그대로 옮기고 싶은데 어떻게 해야 하나요?'</li></ul>            |
| [콜봇상담]이전설치                 | <ul><li>'새 집에서 기존에 쓰던 인터넷 그대로 쓸 수 있을까요?'</li><li>'예전에 설치하신 서비스 관련해서 궁금한 게 있는데요'</li><li>'이사 가는데 인터넷이나 전화 연결은 어떻게 해야 하는지 알려줄 수 있나요?'</li></ul>                                     |
| [콜봇상담]인터넷 해지               | <ul><li>'인터넷이 갑자기 연결이 안 돼서 아예 서비스를 멈추고 싶은데 어떻게 해야 하나요'</li><li>'인터넷 계속 쓰지 않을 건데 서비스는 어떻게 정리해야 하나요?'</li><li>'이번 달부터 인터넷이 갑자기 안 돼서 해결 방법 좀 알려주세요'</li></ul>                        |
| [콜봇상담]인터넷장애                | <ul><li>'집 안에 있는 기기들이 인터넷만 자꾸 끊겨서 답답해요'</li><li>'어제부터 집에서 인터넷 연결이 계속 끊겨서 영상도 못 보고 있어요'</li><li>'갑자기 집에서 인터넷 연결이 자주 끊겨서 일을 못 하겠어요'</li></ul>                                       |
| [콜봇상담]일반상담(공통)             | <ul><li>'계약 관련해서 뭔가 바꾸고 싶은데 어떻게 해야 할지 잘 모르겠어요'</li><li>'집에서 TV를 켰는데 화면이 계속 멈추고 이상해요'</li><li>'인터넷 뭔가 이상해서 이용하는 데 불편함이 있는데 도움 받을 수 있을까요?'</li></ul>                                |
| [콜봇상담]일시정지 및 일시정지 해제(공통)   | <ul><li>'잠깐 동안 서비스가 멈추는 것처럼 느껴져서 좀 불편한데, 어떻게 해결할 수 있을까요?'</li><li>'오랫동안 휴대폰을 안 쓰려고 하는데 어떻게 해야 할지 모르겠어요'</li><li>'조금 동안 휴대폰 사용을 멈추고 싶은데 어떻게 해야 할까요?'</li></ul>                     |
| [콜봇상담]일시정지 및 일시정지 해제(모)    | <ul><li>'며칠 동안 전화가 안 되길래 확인해보니 사용이 잠깐 멈춰진 것 같아요'</li><li>'한동안 휴대폰을 사용하지 못하게 설정하고 싶어서요'</li><li>'오늘부터 잠깐 휴대폰 사용을 멈추고 싶어서 방법이 궁금해요'</li></ul>                                       |
| [콜봇상담]청구요금조회               | <ul><li>'이번 달에 사용한 통신비가 평소보다 많이 나와서 확인해보고 싶어요'</li><li>'4월 중에 쓴 통신비가 제대로 결제됐는지 은행 내역이랑 비교해보고 싶어요'</li><li>'이번 달에 사용한 통신비가 예상보다 많이 나와서 확인하고 싶어요'</li></ul>                         |
| [콜봇상담]통화연결음 가입 및 해지        | <ul><li>'전화 받을 때마다 예전 멜로디 대신 아무 소리도 안 나서 좀 심심해요'</li><li>'전화 걸었을 때 항상 다른 노래가 나와서 좀 불편한데 바꿀 수 있나요?'</li><li>'전화 받을 때 들리는 음악 같은 거 변경하고 싶은데 어떻게 해야 하나요?'</li></ul>                   |
| [콜봇상담]통화중대기 가입 및 해지        | <ul><li>'통화하다가 다른 전화가 걸려오면 바로 못 받아서 답답해요'</li><li>'전화 걸었는데 자꾸 통화 연결이 안 되고 기다리기만 해서 답답해요'</li><li>'전화 걸었는데 상대방이 계속 바쁘다고 나오더라고요, 그런 경우에 따로 기다렸다가 연결되는 시스템 같은 게 있나요?'</li></ul>      |
| [콜봇상담]해지(공통)               | <ul><li>'가입한 서비스가 내 상황과 안 맞는 것 같아서 정리 좀 하고 싶어요'</li><li>'손목에 차는 기기가 갑자기 작동을 멈춰서 이제 어떻게 해야 할지 모르겠어요'</li><li>'아니, 가입한 서비스 언제 끝나는지 좀 알려줄 수 있어?'</li></ul>                           |
| [콜봇상담]홈서비스 가입              | <ul><li>'집에서 볼 수 있는 채널이 많아지면 좋겠는데 어떻게 해야 할까요?'</li><li>'새로 이사하면서 거실에 화면 붙이는 작업 어떻게 진행하는지 알고 싶어요'</li><li>'새로 이사 가서 집에 인터넷이 빨리 연결됐으면 좋겠는데 어디에 신청해야 하는지 잘 모르겠어요'</li></ul>          |
| [콜봇상담]환불_이중납부              | <ul><li>'지난달에 두 번씩 요금이 빠져서 확인해 달라고 하고 싶어요'</li><li>'지난달 요금에 두 번 결제된 것 같은데 확인 좀 부탁드릴게요'</li><li>'지난 달에 결제된 요금이 두 번 청구된 것 같은데 확인 좀 부탁드려도 될까요?'</li></ul>                            |
| [콜봇상담]휴대폰 분실문의             | <ul><li>'어제 가방에서 핸드폰이 안 보여서 진짜 당황스러웠어요, 어떻게 해야 할까요?'</li><li>'어제 길에서 핸드폰을 잃어버린 것 같은데 어떻게 해야 할까요?'</li><li>'핸드폰을 어디에 뒀는지 기억이 안 나서 너무 난감해요'</li></ul>                               |
| [콜봇상담]휴대폰결제 한도변경           | <ul><li>'이번 달에 모바일로 결제한 금액이 생각보다 많이 나와서 걱정되네요'</li><li>'휴대폰으로 결제하려는데 갑자기 한도가 부족하다는 메시지가 떠서요'</li><li>'요즘 휴대폰으로 결제할 때 용량이 부족하다고 나와서 어떻게 해야 할지 모르겠어요'</li></ul>                     |
| [콜봇상담]휴대폰결제(공통)            | <ul><li>'이번 달 핸드폰 요금이 갑자기 많이 나온 것 같은데 이유를 잘 모르겠어요'</li><li>'어제 앱에서 작은 금액이 빠져나간 것 같은데 무슨 일인지 알 수 있을까요?'</li><li>'앱에서 결제하려고 하는데 자꾸 실패해서 답답해요'</li></ul>                             |
| [콜봇상담]휴대폰보험문의및보상신청         | <ul><li>'어제 핸드폰이 떨어져서 화면이 금 가버렸는데, 이런 경우 어떻게 해야 하나요?'</li><li>'휴대폰이 고장 나서 보험 처리할 수 있는지 확인하려고요'</li><li>'핸드폰을 떨어뜨려서 고장 났는데 수리비 때문에 걱정돼요'</li></ul>                                 |
| [콜봇이벤트]로밍상담 재질의            | <ul><li>'다음 달에 해외에 가는데 현지에서 전화나 인터넷을 쓸 수 있는 방법이 궁금해요'</li><li>'이번에 해외 출장을 가게 됐는데 현지에서 인터넷 사용할 때 비용이 얼마나 나올지 걱정돼서요'</li><li>'해외 나갔을 때 휴대폰을 어떻게 써야 추가 요금 걱정 없이 편할까요?'</li></ul>     |
| [프리미어요금제약정할인]프리미어 요금제 약정할인 | <ul><li>'최근에 가입한 서비스가 오래 쓰면 혜택이 더 커진다는 얘기를 들었는데, 어떻게 적용되는지 궁금해요'</li><li>'전에 쓰던 혜택이 다시 적용되는지 궁금해서요'</li><li>'전에 요금 할인 받았던 거랑 같은 조건으로 다시 적용할 수 있을까요?'</li></ul>                    |

## Uses

### Direct Use for Inference

First install the SetFit library:

```bash
pip install setfit
```

Then you can load this model and run inference.

```python
from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("huiyeong/setfit-callbot-synthetic-neg")
# Run inference
preds = model("문자 확인하려고 몇 번을 기다려도 아무것도 안 오네요")
```

<!--
### Downstream Use

*List how someone could finetune this model on their own dataset.*
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Set Metrics
| Training set | Min | Median  | Max |
|:-------------|:----|:--------|:----|
| Word count   | 5   | 10.2889 | 19  |

| Label                      | Training Sample Count |
|:---------------------------|:----------------------|
| [단말기]모바일 U+Shop            | 59                    |
| [콜봇공통]장애처리                 | 58                    |
| [콜봇상담]IPTV장애               | 66                    |
| [콜봇상담]결합상품문의               | 60                    |
| [콜봇상담]기기변경문의               | 61                    |
| [콜봇상담]납부방법변경               | 58                    |
| [콜봇상담]납부확인서 발급             | 62                    |
| [콜봇상담]듀얼넘버 문의              | 57                    |
| [콜봇상담]모바일 부가서비스 가입 및 해지    | 62                    |
| [콜봇상담]선택약정할인상태 안내 및 등록기능   | 63                    |
| [콜봇상담]세금계산서발행              | 63                    |
| [콜봇상담]스팸차단 서비스 신청 및 해지     | 56                    |
| [콜봇상담]약정문의(공통)             | 59                    |
| [콜봇상담]연체문의(공통)             | 57                    |
| [콜봇상담]요금납부                 | 58                    |
| [콜봇상담]요금문의(공통)             | 60                    |
| [콜봇상담]요금제변경                | 57                    |
| [콜봇상담]유심 구매 및 이동 문의        | 59                    |
| [콜봇상담]이전설치                 | 61                    |
| [콜봇상담]인터넷 해지               | 58                    |
| [콜봇상담]인터넷장애                | 57                    |
| [콜봇상담]일반상담(공통)             | 59                    |
| [콜봇상담]일시정지 및 일시정지 해제(공통)   | 63                    |
| [콜봇상담]일시정지 및 일시정지 해제(모)    | 57                    |
| [콜봇상담]청구요금조회               | 61                    |
| [콜봇상담]통화연결음 가입 및 해지        | 55                    |
| [콜봇상담]통화중대기 가입 및 해지        | 64                    |
| [콜봇상담]해지(공통)               | 61                    |
| [콜봇상담]홈서비스 가입              | 59                    |
| [콜봇상담]환불_이중납부              | 61                    |
| [콜봇상담]휴대폰 분실문의             | 64                    |
| [콜봇상담]휴대폰결제 한도변경           | 63                    |
| [콜봇상담]휴대폰결제(공통)            | 56                    |
| [콜봇상담]휴대폰보험문의및보상신청         | 60                    |
| [콜봇이벤트]로밍상담 재질의            | 60                    |
| [프리미어요금제약정할인]프리미어 요금제 약정할인 | 66                    |

### Training Hyperparameters
- batch_size: (16, 16)
- num_epochs: (5, 5)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 5
- body_learning_rate: (2e-05, 1e-05)
- head_learning_rate: 0.01
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- l2_weight: 0.01
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: False

### Training Results
| Epoch  | Step | Training Loss | Validation Loss |
|:------:|:----:|:-------------:|:---------------:|
| 0.0007 | 1    | 0.2346        | -               |
| 0.0370 | 50   | 0.1917        | -               |
| 0.0741 | 100  | 0.1791        | -               |
| 0.1111 | 150  | 0.1577        | -               |
| 0.1481 | 200  | 0.1438        | -               |
| 0.1852 | 250  | 0.1441        | -               |
| 0.2222 | 300  | 0.1344        | -               |
| 0.2593 | 350  | 0.1236        | -               |
| 0.2963 | 400  | 0.1137        | -               |
| 0.3333 | 450  | 0.1068        | -               |
| 0.3704 | 500  | 0.0986        | -               |
| 0.4074 | 550  | 0.0878        | -               |
| 0.4444 | 600  | 0.0949        | -               |
| 0.4815 | 650  | 0.0866        | -               |
| 0.5185 | 700  | 0.0896        | -               |
| 0.5556 | 750  | 0.0835        | -               |
| 0.5926 | 800  | 0.0734        | -               |
| 0.6296 | 850  | 0.073         | -               |
| 0.6667 | 900  | 0.0673        | -               |
| 0.7037 | 950  | 0.0663        | -               |
| 0.7407 | 1000 | 0.0516        | -               |
| 0.7778 | 1050 | 0.0639        | -               |
| 0.8148 | 1100 | 0.0563        | -               |
| 0.8519 | 1150 | 0.0554        | -               |
| 0.8889 | 1200 | 0.0586        | -               |
| 0.9259 | 1250 | 0.0624        | -               |
| 0.9630 | 1300 | 0.0598        | -               |
| 1.0    | 1350 | 0.0494        | -               |
| 1.0370 | 1400 | 0.0475        | -               |
| 1.0741 | 1450 | 0.0424        | -               |
| 1.1111 | 1500 | 0.0439        | -               |
| 1.1481 | 1550 | 0.0386        | -               |
| 1.1852 | 1600 | 0.0386        | -               |
| 1.2222 | 1650 | 0.0415        | -               |
| 1.2593 | 1700 | 0.0371        | -               |
| 1.2963 | 1750 | 0.039         | -               |
| 1.3333 | 1800 | 0.0382        | -               |
| 1.3704 | 1850 | 0.037         | -               |
| 1.4074 | 1900 | 0.0453        | -               |
| 1.4444 | 1950 | 0.0292        | -               |
| 1.4815 | 2000 | 0.0391        | -               |
| 1.5185 | 2050 | 0.0266        | -               |
| 1.5556 | 2100 | 0.0397        | -               |
| 1.5926 | 2150 | 0.0289        | -               |
| 1.6296 | 2200 | 0.0306        | -               |
| 1.6667 | 2250 | 0.0247        | -               |
| 1.7037 | 2300 | 0.0258        | -               |
| 1.7407 | 2350 | 0.0227        | -               |
| 1.7778 | 2400 | 0.0265        | -               |
| 1.8148 | 2450 | 0.0274        | -               |
| 1.8519 | 2500 | 0.0206        | -               |
| 1.8889 | 2550 | 0.0191        | -               |
| 1.9259 | 2600 | 0.0266        | -               |
| 1.9630 | 2650 | 0.0282        | -               |
| 2.0    | 2700 | 0.0286        | -               |
| 2.0370 | 2750 | 0.0325        | -               |
| 2.0741 | 2800 | 0.0224        | -               |
| 2.1111 | 2850 | 0.027         | -               |
| 2.1481 | 2900 | 0.0129        | -               |
| 2.1852 | 2950 | 0.0205        | -               |
| 2.2222 | 3000 | 0.0194        | -               |
| 2.2593 | 3050 | 0.0203        | -               |
| 2.2963 | 3100 | 0.0186        | -               |
| 2.3333 | 3150 | 0.0145        | -               |
| 2.3704 | 3200 | 0.0197        | -               |
| 2.4074 | 3250 | 0.0244        | -               |
| 2.4444 | 3300 | 0.0144        | -               |
| 2.4815 | 3350 | 0.0139        | -               |
| 2.5185 | 3400 | 0.0182        | -               |
| 2.5556 | 3450 | 0.0203        | -               |
| 2.5926 | 3500 | 0.0217        | -               |
| 2.6296 | 3550 | 0.0131        | -               |
| 2.6667 | 3600 | 0.0296        | -               |
| 2.7037 | 3650 | 0.0192        | -               |
| 2.7407 | 3700 | 0.0183        | -               |
| 2.7778 | 3750 | 0.0153        | -               |
| 2.8148 | 3800 | 0.0182        | -               |
| 2.8519 | 3850 | 0.0194        | -               |
| 2.8889 | 3900 | 0.0176        | -               |
| 2.9259 | 3950 | 0.0202        | -               |
| 2.9630 | 4000 | 0.0211        | -               |
| 3.0    | 4050 | 0.0172        | -               |
| 3.0370 | 4100 | 0.0184        | -               |
| 3.0741 | 4150 | 0.016         | -               |
| 3.1111 | 4200 | 0.0081        | -               |
| 3.1481 | 4250 | 0.0175        | -               |
| 3.1852 | 4300 | 0.0131        | -               |
| 3.2222 | 4350 | 0.014         | -               |
| 3.2593 | 4400 | 0.0131        | -               |
| 3.2963 | 4450 | 0.0199        | -               |
| 3.3333 | 4500 | 0.0131        | -               |
| 3.3704 | 4550 | 0.0144        | -               |
| 3.4074 | 4600 | 0.0149        | -               |
| 3.4444 | 4650 | 0.0129        | -               |
| 3.4815 | 4700 | 0.0137        | -               |
| 3.5185 | 4750 | 0.0216        | -               |
| 3.5556 | 4800 | 0.0128        | -               |
| 3.5926 | 4850 | 0.0147        | -               |
| 3.6296 | 4900 | 0.0087        | -               |
| 3.6667 | 4950 | 0.0182        | -               |
| 3.7037 | 5000 | 0.0119        | -               |
| 3.7407 | 5050 | 0.0168        | -               |
| 3.7778 | 5100 | 0.0128        | -               |
| 3.8148 | 5150 | 0.0105        | -               |
| 3.8519 | 5200 | 0.0181        | -               |
| 3.8889 | 5250 | 0.0176        | -               |
| 3.9259 | 5300 | 0.0202        | -               |
| 3.9630 | 5350 | 0.0142        | -               |
| 4.0    | 5400 | 0.0113        | -               |
| 4.0370 | 5450 | 0.0105        | -               |
| 4.0741 | 5500 | 0.0112        | -               |
| 4.1111 | 5550 | 0.0133        | -               |
| 4.1481 | 5600 | 0.0086        | -               |
| 4.1852 | 5650 | 0.0167        | -               |
| 4.2222 | 5700 | 0.0118        | -               |
| 4.2593 | 5750 | 0.0096        | -               |
| 4.2963 | 5800 | 0.0092        | -               |
| 4.3333 | 5850 | 0.0096        | -               |
| 4.3704 | 5900 | 0.0082        | -               |
| 4.4074 | 5950 | 0.0143        | -               |
| 4.4444 | 6000 | 0.012         | -               |
| 4.4815 | 6050 | 0.0167        | -               |
| 4.5185 | 6100 | 0.0133        | -               |
| 4.5556 | 6150 | 0.0091        | -               |
| 4.5926 | 6200 | 0.0107        | -               |
| 4.6296 | 6250 | 0.0141        | -               |
| 4.6667 | 6300 | 0.0201        | -               |
| 4.7037 | 6350 | 0.0125        | -               |
| 4.7407 | 6400 | 0.0112        | -               |
| 4.7778 | 6450 | 0.0117        | -               |
| 4.8148 | 6500 | 0.0166        | -               |
| 4.8519 | 6550 | 0.0159        | -               |
| 4.8889 | 6600 | 0.0084        | -               |
| 4.9259 | 6650 | 0.012         | -               |
| 4.9630 | 6700 | 0.0098        | -               |
| 5.0    | 6750 | 0.0088        | -               |

### Framework Versions
- Python: 3.11.13
- SetFit: 1.1.2
- Sentence Transformers: 4.1.0
- Transformers: 4.52.4
- PyTorch: 2.6.0+cu124
- Datasets: 3.6.0
- Tokenizers: 0.21.2

## Citation

### BibTeX
```bibtex
@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->