File size: 30,256 Bytes
a175798 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 |
---
tags:
- setfit
- sentence-transformers
- text-classification
- generated_from_setfit_trainer
widget:
- text: 통화 중에 전화가 자꾸 끊기거나 기다리게 하는 기능이 있으면 좋겠는데 어떻게 해야 하나요?
- text: 새로 산 휴대폰 언제부터 사용할 수 있는지 알려줄 수 있어?
- text: 문자 확인하려고 몇 번을 기다려도 아무것도 안 오네요
- text: 어제 핸드폰이 갑자기 사라져서 당황스러워요 어디서 잃어버린 건지 모르겠네요
- text: 요즘 이상한 번호에서 자꾸 전화가 와서 좀 막을 방법이 있을까요?
metrics:
- accuracy
pipeline_tag: text-classification
library_name: setfit
inference: true
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
---
# SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.
The model has been trained using an efficient few-shot learning technique that involves:
1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.
## Model Details
### Model Description
- **Model Type:** SetFit
- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
- **Maximum Sequence Length:** 128 tokens
- **Number of Classes:** 36 classes
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
### Model Labels
| Label | Examples |
|:---------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [단말기]모바일 U+Shop | <ul><li>'인터넷 가입하려고 하는데 최신 기종으로 바로 받고 싶어요'</li><li>'이번에 새로 나온 스마트폰으로 바꾸려고 하는데 절차가 어떻게 되나요?'</li><li>'요즘 나온 휴대폰 중에 사진도 잘 나오고 성능 좋은 게 뭐가 있을까요?'</li></ul> |
| [콜봇공통]장애처리 | <ul><li>'전화할 때 자꾸 끊기고 목소리가 잘 안 들려서 답답해요'</li><li>'새로 산 폰인데 인터넷 연결이 전혀 안 돼서 당황스러워요'</li><li>'인터넷이 갑자기 너무 느려져서 영상도 제대로 못 보고 있어요'</li></ul> |
| [콜봇상담]IPTV장애 | <ul><li>'어제부터 채널이 계속 안 나오고 화면이 멈춰서 어떻게 해야 할지 모르겠어요'</li><li>'어제부터 채널을 바꿔도 화면이 계속 멈춰서 볼 수가 없어요'</li><li>'어제부터 티비 화면이 깜빡거리면서 제대로 안 보여서 답답해요'</li></ul> |
| [콜봇상담]결합상품문의 | <ul><li>'가족들 휴대폰 요금이 너무 따로따로 나와서 묶는 게 가능한지 궁금해요'</li><li>'가족끼리 쓰는 거랑 따로 쓰는 거랑 차이가 있나요?'</li><li>'같이 묶어서 쓰던 서비스 중 하나를 따로 써야 할 것 같은데 어떻게 해야 할까요'</li></ul> |
| [콜봇상담]기기변경문의 | <ul><li>'아이가 새로 산 핸드폰으로 번호 옮길 때 어떻게 해야 할까요?'</li><li>'폰 바꾸려고 하는데 절차가 어떻게 되는지 알려줄 수 있어요?'</li><li>'며칠 전에 새로 바꾼 폰이 마음에 안 들어서 원래 쓰던 걸로 다시 쓸 수 있을까요?'</li></ul> |
| [콜봇상담]납부방법변경 | <ul><li>'이번 달부터는 통장으로 자동으로 빠져나가지 않게 설정하고 싶은데 어떻게 해야 하나요?'</li><li>'매달 걱정 없이 요금이 자동으로 빠져나가게 할 수는 없나요?'</li><li>'이번 달부터 출금 계좌를 다른 곳으로 바꾸고 싶은데 어떻게 하면 되나요?'</li></ul> |
| [콜봇상담]납부확인서 발급 | <ul><li>'작년에 쓴 핸드폰 요금 내역서가 필요해서 받을 수 있을까요?'</li><li>'이번 달에 인터넷이나 전화 비용이 제대로 빠져나갔는지 확인하고 싶어요'</li><li>'작년에 낸 납부 내역서 다시 받을 수 있을까요?'</li></ul> |
| [콜봇상담]듀얼넘버 문의 | <ul><li>'전화 두 개 번호를 한 번에 관리할 수 있는 방법 있나요?'</li><li>'핸드폰 번호 하나 더 쓰고 싶은데 어떻게 해야 할까요?'</li><li>'요즘 번호 두 개 동시에 쓰는 게 가능하다고 들었는데 어떻게 하는 건지 궁금해요.'</li></ul> |
| [콜봇상담]모바일 부가서비스 가입 및 해지 | <ul><li>'지난달에 신청했던 서비스가 자동으로 계속 결제되는 것 같은데 어떻게 하면 멈출 수 있을까요?'</li><li>'핸드폰으로 평소와 다르게 편리한 기능을 더 쓰고 싶어서요'</li><li>'이용할 수 없던 기능이 갑자기 다시 작동하게 됐는데 어떻게 된 건지 궁금해요'</li></ul> |
| [콜봇상담]선택약정할인상태 안내 및 등록기능 | <ul><li>'이번 달 통신비가 갑자기 많이 나와서 혹시 할인받을 수 있는 방법이 있는지 궁금합니다'</li><li>'통신비 할인을 받을 수 있는 조건이 뭔지 좀 알려줄 수 있어요?'</li><li>'몇 달째 할인 혜택이 제대로 적용되고 있는지 확인을 못하고 있어서요'</li></ul> |
| [콜봇상담]세금계산서발행 | <ul><li>'연말에 정산하려고 보니 영수증 같은 게 필요하던데, 어떻게 챙겨야 하나요?'</li><li>'작년에 벌어들인 소득 정리하느라 정신이 없어요, 세금 증빙 서류도 어떻게 챙겨야 할지 막막하고요'</li><li>'지난 달에 카드 결제 내역 중에 이상하게 추가된 게 있어서 확인하고 싶어요'</li></ul> |
| [콜봇상담]스팸차단 서비스 신청 및 해지 | <ul><li>'요즘 자꾸 이상한 전화가 와서 좀 골치예요'</li><li>'잘 모르는 번호에서 계속 전화가 와서 못 받겠어요, 좀 방법 없을까요?'</li><li>'요즘 알 수 없는 번호로 자꾸 이상한 문자들이 와서 좀 귀찮네요'</li></ul> |
| [콜봇상담]약정문의(공통) | <ul><li>'사용하고 있는 서비스 기간이 언제까지인지 좀 확인하고 싶어요'</li><li>'계약이 끝나면 자동으로 요금이 바뀌는 건가요?'</li><li>'그동안 계속 쓰던 할인 혜택이 갑자기 안 되는 것 같은데, 이게 계약 기간과 관련된 문제일까요?'</li></ul> |
| [콜봇상담]연체문의(공통) | <ul><li>'이번 달 휴대폰 요금 고지서에 이상한 부분이 있는 것 같은데 확인 좀 부탁드려요'</li><li>'아까 청구서 보고 깜짝 놀랐는데, 왜 이렇게 이전 달 요금이 아직 정산이 안 된 건가요?'</li><li>'이번 달 통신비가 왜 이렇게 많이 나왔는지 확인해보고 싶어요'</li></ul> |
| [콜봇상담]요금납부 | <ul><li>'이번 달 요금 부담이 좀 커서 한 번에 전부 내기 힘들 것 같은데, 나눠서 결제할 수는 없나요?'</li><li>'이번 달 통신비가 어떻게 나왔는지 좀 확인하고 싶어요'</li><li>'이번 달 요금이 갑자기 많이 나와서 나눠서 낼 수 있는 방법이 있을까요?'</li></ul> |
| [콜봇상담]요금문의(공통) | <ul><li>'이번 달 통신비가 갑자기 많이 나온 것 같은데 이유를 알 수 있을까요?'</li><li>'이번 달 핸드폰 요금이 평소보다 많이 나와서 좀 확인하고 싶어요'</li><li>'이번 달 통신비가 평소보다 너무 많이 나온 것 같은데 무슨 이유인지 확인할 수 있을까요?'</li></ul> |
| [콜봇상담]요금제변경 | <ul><li>'이번 달 청구서가 갑자기 달라져서 어떻게 된 건지 확인하고 싶어요'</li><li>'이번 달 청구서가 갑자기 많이 나왔는데 뭐가 달라진 건지 잘 모르겠어요'</li><li>'이번 달에는 조금 더 저렴하게 바꿀 수 있는 방법이 있을까요?'</li></ul> |
| [콜봇상담]유심 구매 및 이동 문의 | <ul><li>'핸드폰 번호를 바꾸지 않고 새 기기로 바꾸려면 어떻게 해야 하나요?'</li><li>'새 핸드폰 사려고 하는데 기존 번호 그대로 쓰고 싶은데 어떻게 해야 하나요?'</li><li>'다른 곳에서 쓰던 번호를 여기 핸드폰에 그대로 옮기고 싶은데 어떻게 해야 하나요?'</li></ul> |
| [콜봇상담]이전설치 | <ul><li>'새 집에서 기존에 쓰던 인터넷 그대로 쓸 수 있을까요?'</li><li>'예전에 설치하신 서비스 관련해서 궁금한 게 있는데요'</li><li>'이사 가는데 인터넷이나 전화 연결은 어떻게 해야 하는지 알려줄 수 있나요?'</li></ul> |
| [콜봇상담]인터넷 해지 | <ul><li>'인터넷이 갑자기 연결이 안 돼서 아예 서비스를 멈추고 싶은데 어떻게 해야 하나요'</li><li>'인터넷 계속 쓰지 않을 건데 서비스는 어떻게 정리해야 하나요?'</li><li>'이번 달부터 인터넷이 갑자기 안 돼서 해결 방법 좀 알려주세요'</li></ul> |
| [콜봇상담]인터넷장애 | <ul><li>'집 안에 있는 기기들이 인터넷만 자꾸 끊겨서 답답해요'</li><li>'어제부터 집에서 인터넷 연결이 계속 끊겨서 영상도 못 보고 있어요'</li><li>'갑자기 집에서 인터넷 연결이 자주 끊겨서 일을 못 하겠어요'</li></ul> |
| [콜봇상담]일반상담(공통) | <ul><li>'계약 관련해서 뭔가 바꾸고 싶은데 어떻게 해야 할지 잘 모르겠어요'</li><li>'집에서 TV를 켰는데 화면이 계속 멈추고 이상해요'</li><li>'인터넷 뭔가 이상해서 이용하는 데 불편함이 있는데 도움 받을 수 있을까요?'</li></ul> |
| [콜봇상담]일시정지 및 일시정지 해제(공통) | <ul><li>'잠깐 동안 서비스가 멈추는 것처럼 느껴져서 좀 불편한데, 어떻게 해결할 수 있을까요?'</li><li>'오랫동안 휴대폰을 안 쓰려고 하는데 어떻게 해야 할지 모르겠어요'</li><li>'조금 동안 휴대폰 사용을 멈추고 싶은데 어떻게 해야 할까요?'</li></ul> |
| [콜봇상담]일시정지 및 일시정지 해제(모) | <ul><li>'며칠 동안 전화가 안 되길래 확인해보니 사용이 잠깐 멈춰진 것 같아요'</li><li>'한동안 휴대폰을 사용하지 못하게 설정하고 싶어서요'</li><li>'오늘부터 잠깐 휴대폰 사용을 멈추고 싶어서 방법이 궁금해요'</li></ul> |
| [콜봇상담]청구요금조회 | <ul><li>'이번 달에 사용한 통신비가 평소보다 많이 나와서 확인해보고 싶어요'</li><li>'4월 중에 쓴 통신비가 제대로 결제됐는지 은행 내역이랑 비교해보고 싶어요'</li><li>'이번 달에 사용한 통신비가 예상보다 많이 나와서 확인하고 싶어요'</li></ul> |
| [콜봇상담]통화연결음 가입 및 해지 | <ul><li>'전화 받을 때마다 예전 멜로디 대신 아무 소리도 안 나서 좀 심심해요'</li><li>'전화 걸었을 때 항상 다른 노래가 나와서 좀 불편한데 바꿀 수 있나요?'</li><li>'전화 받을 때 들리는 음악 같은 거 변경하고 싶은데 어떻게 해야 하나요?'</li></ul> |
| [콜봇상담]통화중대기 가입 및 해지 | <ul><li>'통화하다가 다른 전화가 걸려오면 바로 못 받아서 답답해요'</li><li>'전화 걸었는데 자꾸 통화 연결이 안 되고 기다리기만 해서 답답해요'</li><li>'전화 걸었는데 상대방이 계속 바쁘다고 나오더라고요, 그런 경우에 따로 기다렸다가 연결되는 시스템 같은 게 있나요?'</li></ul> |
| [콜봇상담]해지(공통) | <ul><li>'가입한 서비스가 내 상황과 안 맞는 것 같아서 정리 좀 하고 싶어요'</li><li>'손목에 차는 기기가 갑자기 작동을 멈춰서 이제 어떻게 해야 할지 모르겠어요'</li><li>'아니, 가입한 서비스 언제 끝나는지 좀 알려줄 수 있어?'</li></ul> |
| [콜봇상담]홈서비스 가입 | <ul><li>'집에서 볼 수 있는 채널이 많아지면 좋겠는데 어떻게 해야 할까요?'</li><li>'새로 이사하면서 거실에 화면 붙이는 작업 어떻게 진행하는지 알고 싶어요'</li><li>'새로 이사 가서 집에 인터넷이 빨리 연결됐으면 좋겠는데 어디에 신청해야 하는지 잘 모르겠어요'</li></ul> |
| [콜봇상담]환불_이중납부 | <ul><li>'지난달에 두 번씩 요금이 빠져서 확인해 달라고 하고 싶어요'</li><li>'지난달 요금에 두 번 결제된 것 같은데 확인 좀 부탁드릴게요'</li><li>'지난 달에 결제된 요금이 두 번 청구된 것 같은데 확인 좀 부탁드려도 될까요?'</li></ul> |
| [콜봇상담]휴대폰 분실문의 | <ul><li>'어제 가방에서 핸드폰이 안 보여서 진짜 당황스러웠어요, 어떻게 해야 할까요?'</li><li>'어제 길에서 핸드폰을 잃어버린 것 같은데 어떻게 해야 할까요?'</li><li>'핸드폰을 어디에 뒀는지 기억이 안 나서 너무 난감해요'</li></ul> |
| [콜봇상담]휴대폰결제 한도변경 | <ul><li>'이번 달에 모바일로 결제한 금액이 생각보다 많이 나와서 걱정되네요'</li><li>'휴대폰으로 결제하려는데 갑자기 한도가 부족하다는 메시지가 떠서요'</li><li>'요즘 휴대폰으로 결제할 때 용량이 부족하다고 나와서 어떻게 해야 할지 모르겠어요'</li></ul> |
| [콜봇상담]휴대폰결제(공통) | <ul><li>'이번 달 핸드폰 요금이 갑자기 많이 나온 것 같은데 이유를 잘 모르겠어요'</li><li>'어제 앱에서 작은 금액이 빠져나간 것 같은데 무슨 일인지 알 수 있을까요?'</li><li>'앱에서 결제하려고 하는데 자꾸 실패해서 답답해요'</li></ul> |
| [콜봇상담]휴대폰보험문의및보상신청 | <ul><li>'어제 핸드폰이 떨어져서 화면이 금 가버렸는데, 이런 경우 어떻게 해야 하나요?'</li><li>'휴대폰이 고장 나서 보험 처리할 수 있는지 확인하려고요'</li><li>'핸드폰을 떨어뜨려서 고장 났는데 수리비 때문에 걱정돼요'</li></ul> |
| [콜봇이벤트]로밍상담 재질의 | <ul><li>'다음 달에 해외에 가는데 현지에서 전화나 인터넷을 쓸 수 있는 방법이 궁금해요'</li><li>'이번에 해외 출장을 가게 됐는데 현지에서 인터넷 사용할 때 비용이 얼마나 나올지 걱정돼서요'</li><li>'해외 나갔을 때 휴대폰을 어떻게 써야 추가 요금 걱정 없이 편할까요?'</li></ul> |
| [프리미어요금제약정할인]프리미어 요금제 약정할인 | <ul><li>'최근에 가입한 서비스가 오래 쓰면 혜택이 더 커진다는 얘기를 들었는데, 어떻게 적용되는지 궁금해요'</li><li>'전에 쓰던 혜택이 다시 적용되는지 궁금해서요'</li><li>'전에 요금 할인 받았던 거랑 같은 조건으로 다시 적용할 수 있을까요?'</li></ul> |
## Uses
### Direct Use for Inference
First install the SetFit library:
```bash
pip install setfit
```
Then you can load this model and run inference.
```python
from setfit import SetFitModel
# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("huiyeong/setfit-callbot-synthetic-neg")
# Run inference
preds = model("문자 확인하려고 몇 번을 기다려도 아무것도 안 오네요")
```
<!--
### Downstream Use
*List how someone could finetune this model on their own dataset.*
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Set Metrics
| Training set | Min | Median | Max |
|:-------------|:----|:--------|:----|
| Word count | 5 | 10.2889 | 19 |
| Label | Training Sample Count |
|:---------------------------|:----------------------|
| [단말기]모바일 U+Shop | 59 |
| [콜봇공통]장애처리 | 58 |
| [콜봇상담]IPTV장애 | 66 |
| [콜봇상담]결합상품문의 | 60 |
| [콜봇상담]기기변경문의 | 61 |
| [콜봇상담]납부방법변경 | 58 |
| [콜봇상담]납부확인서 발급 | 62 |
| [콜봇상담]듀얼넘버 문의 | 57 |
| [콜봇상담]모바일 부가서비스 가입 및 해지 | 62 |
| [콜봇상담]선택약정할인상태 안내 및 등록기능 | 63 |
| [콜봇상담]세금계산서발행 | 63 |
| [콜봇상담]스팸차단 서비스 신청 및 해지 | 56 |
| [콜봇상담]약정문의(공통) | 59 |
| [콜봇상담]연체문의(공통) | 57 |
| [콜봇상담]요금납부 | 58 |
| [콜봇상담]요금문의(공통) | 60 |
| [콜봇상담]요금제변경 | 57 |
| [콜봇상담]유심 구매 및 이동 문의 | 59 |
| [콜봇상담]이전설치 | 61 |
| [콜봇상담]인터넷 해지 | 58 |
| [콜봇상담]인터넷장애 | 57 |
| [콜봇상담]일반상담(공통) | 59 |
| [콜봇상담]일시정지 및 일시정지 해제(공통) | 63 |
| [콜봇상담]일시정지 및 일시정지 해제(모) | 57 |
| [콜봇상담]청구요금조회 | 61 |
| [콜봇상담]통화연결음 가입 및 해지 | 55 |
| [콜봇상담]통화중대기 가입 및 해지 | 64 |
| [콜봇상담]해지(공통) | 61 |
| [콜봇상담]홈서비스 가입 | 59 |
| [콜봇상담]환불_이중납부 | 61 |
| [콜봇상담]휴대폰 분실문의 | 64 |
| [콜봇상담]휴대폰결제 한도변경 | 63 |
| [콜봇상담]휴대폰결제(공통) | 56 |
| [콜봇상담]휴대폰보험문의및보상신청 | 60 |
| [콜봇이벤트]로밍상담 재질의 | 60 |
| [프리미어요금제약정할인]프리미어 요금제 약정할인 | 66 |
### Training Hyperparameters
- batch_size: (16, 16)
- num_epochs: (5, 5)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 5
- body_learning_rate: (2e-05, 1e-05)
- head_learning_rate: 0.01
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- l2_weight: 0.01
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: False
### Training Results
| Epoch | Step | Training Loss | Validation Loss |
|:------:|:----:|:-------------:|:---------------:|
| 0.0007 | 1 | 0.2346 | - |
| 0.0370 | 50 | 0.1917 | - |
| 0.0741 | 100 | 0.1791 | - |
| 0.1111 | 150 | 0.1577 | - |
| 0.1481 | 200 | 0.1438 | - |
| 0.1852 | 250 | 0.1441 | - |
| 0.2222 | 300 | 0.1344 | - |
| 0.2593 | 350 | 0.1236 | - |
| 0.2963 | 400 | 0.1137 | - |
| 0.3333 | 450 | 0.1068 | - |
| 0.3704 | 500 | 0.0986 | - |
| 0.4074 | 550 | 0.0878 | - |
| 0.4444 | 600 | 0.0949 | - |
| 0.4815 | 650 | 0.0866 | - |
| 0.5185 | 700 | 0.0896 | - |
| 0.5556 | 750 | 0.0835 | - |
| 0.5926 | 800 | 0.0734 | - |
| 0.6296 | 850 | 0.073 | - |
| 0.6667 | 900 | 0.0673 | - |
| 0.7037 | 950 | 0.0663 | - |
| 0.7407 | 1000 | 0.0516 | - |
| 0.7778 | 1050 | 0.0639 | - |
| 0.8148 | 1100 | 0.0563 | - |
| 0.8519 | 1150 | 0.0554 | - |
| 0.8889 | 1200 | 0.0586 | - |
| 0.9259 | 1250 | 0.0624 | - |
| 0.9630 | 1300 | 0.0598 | - |
| 1.0 | 1350 | 0.0494 | - |
| 1.0370 | 1400 | 0.0475 | - |
| 1.0741 | 1450 | 0.0424 | - |
| 1.1111 | 1500 | 0.0439 | - |
| 1.1481 | 1550 | 0.0386 | - |
| 1.1852 | 1600 | 0.0386 | - |
| 1.2222 | 1650 | 0.0415 | - |
| 1.2593 | 1700 | 0.0371 | - |
| 1.2963 | 1750 | 0.039 | - |
| 1.3333 | 1800 | 0.0382 | - |
| 1.3704 | 1850 | 0.037 | - |
| 1.4074 | 1900 | 0.0453 | - |
| 1.4444 | 1950 | 0.0292 | - |
| 1.4815 | 2000 | 0.0391 | - |
| 1.5185 | 2050 | 0.0266 | - |
| 1.5556 | 2100 | 0.0397 | - |
| 1.5926 | 2150 | 0.0289 | - |
| 1.6296 | 2200 | 0.0306 | - |
| 1.6667 | 2250 | 0.0247 | - |
| 1.7037 | 2300 | 0.0258 | - |
| 1.7407 | 2350 | 0.0227 | - |
| 1.7778 | 2400 | 0.0265 | - |
| 1.8148 | 2450 | 0.0274 | - |
| 1.8519 | 2500 | 0.0206 | - |
| 1.8889 | 2550 | 0.0191 | - |
| 1.9259 | 2600 | 0.0266 | - |
| 1.9630 | 2650 | 0.0282 | - |
| 2.0 | 2700 | 0.0286 | - |
| 2.0370 | 2750 | 0.0325 | - |
| 2.0741 | 2800 | 0.0224 | - |
| 2.1111 | 2850 | 0.027 | - |
| 2.1481 | 2900 | 0.0129 | - |
| 2.1852 | 2950 | 0.0205 | - |
| 2.2222 | 3000 | 0.0194 | - |
| 2.2593 | 3050 | 0.0203 | - |
| 2.2963 | 3100 | 0.0186 | - |
| 2.3333 | 3150 | 0.0145 | - |
| 2.3704 | 3200 | 0.0197 | - |
| 2.4074 | 3250 | 0.0244 | - |
| 2.4444 | 3300 | 0.0144 | - |
| 2.4815 | 3350 | 0.0139 | - |
| 2.5185 | 3400 | 0.0182 | - |
| 2.5556 | 3450 | 0.0203 | - |
| 2.5926 | 3500 | 0.0217 | - |
| 2.6296 | 3550 | 0.0131 | - |
| 2.6667 | 3600 | 0.0296 | - |
| 2.7037 | 3650 | 0.0192 | - |
| 2.7407 | 3700 | 0.0183 | - |
| 2.7778 | 3750 | 0.0153 | - |
| 2.8148 | 3800 | 0.0182 | - |
| 2.8519 | 3850 | 0.0194 | - |
| 2.8889 | 3900 | 0.0176 | - |
| 2.9259 | 3950 | 0.0202 | - |
| 2.9630 | 4000 | 0.0211 | - |
| 3.0 | 4050 | 0.0172 | - |
| 3.0370 | 4100 | 0.0184 | - |
| 3.0741 | 4150 | 0.016 | - |
| 3.1111 | 4200 | 0.0081 | - |
| 3.1481 | 4250 | 0.0175 | - |
| 3.1852 | 4300 | 0.0131 | - |
| 3.2222 | 4350 | 0.014 | - |
| 3.2593 | 4400 | 0.0131 | - |
| 3.2963 | 4450 | 0.0199 | - |
| 3.3333 | 4500 | 0.0131 | - |
| 3.3704 | 4550 | 0.0144 | - |
| 3.4074 | 4600 | 0.0149 | - |
| 3.4444 | 4650 | 0.0129 | - |
| 3.4815 | 4700 | 0.0137 | - |
| 3.5185 | 4750 | 0.0216 | - |
| 3.5556 | 4800 | 0.0128 | - |
| 3.5926 | 4850 | 0.0147 | - |
| 3.6296 | 4900 | 0.0087 | - |
| 3.6667 | 4950 | 0.0182 | - |
| 3.7037 | 5000 | 0.0119 | - |
| 3.7407 | 5050 | 0.0168 | - |
| 3.7778 | 5100 | 0.0128 | - |
| 3.8148 | 5150 | 0.0105 | - |
| 3.8519 | 5200 | 0.0181 | - |
| 3.8889 | 5250 | 0.0176 | - |
| 3.9259 | 5300 | 0.0202 | - |
| 3.9630 | 5350 | 0.0142 | - |
| 4.0 | 5400 | 0.0113 | - |
| 4.0370 | 5450 | 0.0105 | - |
| 4.0741 | 5500 | 0.0112 | - |
| 4.1111 | 5550 | 0.0133 | - |
| 4.1481 | 5600 | 0.0086 | - |
| 4.1852 | 5650 | 0.0167 | - |
| 4.2222 | 5700 | 0.0118 | - |
| 4.2593 | 5750 | 0.0096 | - |
| 4.2963 | 5800 | 0.0092 | - |
| 4.3333 | 5850 | 0.0096 | - |
| 4.3704 | 5900 | 0.0082 | - |
| 4.4074 | 5950 | 0.0143 | - |
| 4.4444 | 6000 | 0.012 | - |
| 4.4815 | 6050 | 0.0167 | - |
| 4.5185 | 6100 | 0.0133 | - |
| 4.5556 | 6150 | 0.0091 | - |
| 4.5926 | 6200 | 0.0107 | - |
| 4.6296 | 6250 | 0.0141 | - |
| 4.6667 | 6300 | 0.0201 | - |
| 4.7037 | 6350 | 0.0125 | - |
| 4.7407 | 6400 | 0.0112 | - |
| 4.7778 | 6450 | 0.0117 | - |
| 4.8148 | 6500 | 0.0166 | - |
| 4.8519 | 6550 | 0.0159 | - |
| 4.8889 | 6600 | 0.0084 | - |
| 4.9259 | 6650 | 0.012 | - |
| 4.9630 | 6700 | 0.0098 | - |
| 5.0 | 6750 | 0.0088 | - |
### Framework Versions
- Python: 3.11.13
- SetFit: 1.1.2
- Sentence Transformers: 4.1.0
- Transformers: 4.52.4
- PyTorch: 2.6.0+cu124
- Datasets: 3.6.0
- Tokenizers: 0.21.2
## Citation
### BibTeX
```bibtex
@article{https://doi.org/10.48550/arxiv.2209.11055,
doi = {10.48550/ARXIV.2209.11055},
url = {https://arxiv.org/abs/2209.11055},
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Efficient Few-Shot Learning Without Prompts},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
--> |