setfit-callbot-synthetic-neg / README.md

Push model using huggingface_hub.

a175798 verified 6 months ago

30.3 kB

	---
	tags:
	- setfit
	- sentence-transformers
	- text-classification
	- generated_from_setfit_trainer
	widget:
	- text: 통화 중에 전화가 자꾸 끊기거나 기다리게 하는 기능이 있으면 좋겠는데 어떻게 해야 하나요?
	- text: 새로 산 휴대폰 언제부터 사용할 수 있는지 알려줄 수 있어?
	- text: 문자 확인하려고 몇 번을 기다려도 아무것도 안 오네요
	- text: 어제 핸드폰이 갑자기 사라져서 당황스러워요 어디서 잃어버린 건지 모르겠네요
	- text: 요즘 이상한 번호에서 자꾸 전화가 와서 좀 막을 방법이 있을까요?
	metrics:
	- accuracy
	pipeline_tag: text-classification
	library_name: setfit
	inference: true
	base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
	---

	# SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

	This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.

	The model has been trained using an efficient few-shot learning technique that involves:

	1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
	2. Training a classification head with features from the fine-tuned Sentence Transformer.

	## Model Details

	### Model Description
	- Model Type: SetFit
	- Sentence Transformer body: [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
	- Classification head: a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
	- Maximum Sequence Length: 128 tokens
	- Number of Classes: 36 classes
	<!-- - Training Dataset: [Unknown](https://huggingface.co/datasets/unknown) -->
	<!-- - Language: Unknown -->
	<!-- - License: Unknown -->

	### Model Sources

	- Repository: [SetFit on GitHub](https://github.com/huggingface/setfit)
	- Paper: [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
	- Blogpost: [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)

	### Model Labels
	\| Label \| Examples \|
	\|:---------------------------\|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------\|
	\| [단말기]모바일 U+Shop \| <ul><li>'인터넷 가입하려고 하는데 최신 기종으로 바로 받고 싶어요'</li><li>'이번에 새로 나온 스마트폰으로 바꾸려고 하는데 절차가 어떻게 되나요?'</li><li>'요즘 나온 휴대폰 중에 사진도 잘 나오고 성능 좋은 게 뭐가 있을까요?'</li></ul> \|
	\| [콜봇공통]장애처리 \| <ul><li>'전화할 때 자꾸 끊기고 목소리가 잘 안 들려서 답답해요'</li><li>'새로 산 폰인데 인터넷 연결이 전혀 안 돼서 당황스러워요'</li><li>'인터넷이 갑자기 너무 느려져서 영상도 제대로 못 보고 있어요'</li></ul> \|
	\| [콜봇상담]IPTV장애 \| <ul><li>'어제부터 채널이 계속 안 나오고 화면이 멈춰서 어떻게 해야 할지 모르겠어요'</li><li>'어제부터 채널을 바꿔도 화면이 계속 멈춰서 볼 수가 없어요'</li><li>'어제부터 티비 화면이 깜빡거리면서 제대로 안 보여서 답답해요'</li></ul> \|
	\| [콜봇상담]결합상품문의 \| <ul><li>'가족들 휴대폰 요금이 너무 따로따로 나와서 묶는 게 가능한지 궁금해요'</li><li>'가족끼리 쓰는 거랑 따로 쓰는 거랑 차이가 있나요?'</li><li>'같이 묶어서 쓰던 서비스 중 하나를 따로 써야 할 것 같은데 어떻게 해야 할까요'</li></ul> \|
	\| [콜봇상담]기기변경문의 \| <ul><li>'아이가 새로 산 핸드폰으로 번호 옮길 때 어떻게 해야 할까요?'</li><li>'폰 바꾸려고 하는데 절차가 어떻게 되는지 알려줄 수 있어요?'</li><li>'며칠 전에 새로 바꾼 폰이 마음에 안 들어서 원래 쓰던 걸로 다시 쓸 수 있을까요?'</li></ul> \|
	\| [콜봇상담]납부방법변경 \| <ul><li>'이번 달부터는 통장으로 자동으로 빠져나가지 않게 설정하고 싶은데 어떻게 해야 하나요?'</li><li>'매달 걱정 없이 요금이 자동으로 빠져나가게 할 수는 없나요?'</li><li>'이번 달부터 출금 계좌를 다른 곳으로 바꾸고 싶은데 어떻게 하면 되나요?'</li></ul> \|
	\| [콜봇상담]납부확인서 발급 \| <ul><li>'작년에 쓴 핸드폰 요금 내역서가 필요해서 받을 수 있을까요?'</li><li>'이번 달에 인터넷이나 전화 비용이 제대로 빠져나갔는지 확인하고 싶어요'</li><li>'작년에 낸 납부 내역서 다시 받을 수 있을까요?'</li></ul> \|
	\| [콜봇상담]듀얼넘버 문의 \| <ul><li>'전화 두 개 번호를 한 번에 관리할 수 있는 방법 있나요?'</li><li>'핸드폰 번호 하나 더 쓰고 싶은데 어떻게 해야 할까요?'</li><li>'요즘 번호 두 개 동시에 쓰는 게 가능하다고 들었는데 어떻게 하는 건지 궁금해요.'</li></ul> \|
	\| [콜봇상담]모바일 부가서비스 가입 및 해지 \| <ul><li>'지난달에 신청했던 서비스가 자동으로 계속 결제되는 것 같은데 어떻게 하면 멈출 수 있을까요?'</li><li>'핸드폰으로 평소와 다르게 편리한 기능을 더 쓰고 싶어서요'</li><li>'이용할 수 없던 기능이 갑자기 다시 작동하게 됐는데 어떻게 된 건지 궁금해요'</li></ul> \|
	\| [콜봇상담]선택약정할인상태 안내 및 등록기능 \| <ul><li>'이번 달 통신비가 갑자기 많이 나와서 혹시 할인받을 수 있는 방법이 있는지 궁금합니다'</li><li>'통신비 할인을 받을 수 있는 조건이 뭔지 좀 알려줄 수 있어요?'</li><li>'몇 달째 할인 혜택이 제대로 적용되고 있는지 확인을 못하고 있어서요'</li></ul> \|
	\| [콜봇상담]세금계산서발행 \| <ul><li>'연말에 정산하려고 보니 영수증 같은 게 필요하던데, 어떻게 챙겨야 하나요?'</li><li>'작년에 벌어들인 소득 정리하느라 정신이 없어요, 세금 증빙 서류도 어떻게 챙겨야 할지 막막하고요'</li><li>'지난 달에 카드 결제 내역 중에 이상하게 추가된 게 있어서 확인하고 싶어요'</li></ul> \|
	\| [콜봇상담]스팸차단 서비스 신청 및 해지 \| <ul><li>'요즘 자꾸 이상한 전화가 와서 좀 골치예요'</li><li>'잘 모르는 번호에서 계속 전화가 와서 못 받겠어요, 좀 방법 없을까요?'</li><li>'요즘 알 수 없는 번호로 자꾸 이상한 문자들이 와서 좀 귀찮네요'</li></ul> \|
	\| [콜봇상담]약정문의(공통) \| <ul><li>'사용하고 있는 서비스 기간이 언제까지인지 좀 확인하고 싶어요'</li><li>'계약이 끝나면 자동으로 요금이 바뀌는 건가요?'</li><li>'그동안 계속 쓰던 할인 혜택이 갑자기 안 되는 것 같은데, 이게 계약 기간과 관련된 문제일까요?'</li></ul> \|
	\| [콜봇상담]연체문의(공통) \| <ul><li>'이번 달 휴대폰 요금 고지서에 이상한 부분이 있는 것 같은데 확인 좀 부탁드려요'</li><li>'아까 청구서 보고 깜짝 놀랐는데, 왜 이렇게 이전 달 요금이 아직 정산이 안 된 건가요?'</li><li>'이번 달 통신비가 왜 이렇게 많이 나왔는지 확인해보고 싶어요'</li></ul> \|
	\| [콜봇상담]요금납부 \| <ul><li>'이번 달 요금 부담이 좀 커서 한 번에 전부 내기 힘들 것 같은데, 나눠서 결제할 수는 없나요?'</li><li>'이번 달 통신비가 어떻게 나왔는지 좀 확인하고 싶어요'</li><li>'이번 달 요금이 갑자기 많이 나와서 나눠서 낼 수 있는 방법이 있을까요?'</li></ul> \|
	\| [콜봇상담]요금문의(공통) \| <ul><li>'이번 달 통신비가 갑자기 많이 나온 것 같은데 이유를 알 수 있을까요?'</li><li>'이번 달 핸드폰 요금이 평소보다 많이 나와서 좀 확인하고 싶어요'</li><li>'이번 달 통신비가 평소보다 너무 많이 나온 것 같은데 무슨 이유인지 확인할 수 있을까요?'</li></ul> \|
	\| [콜봇상담]요금제변경 \| <ul><li>'이번 달 청구서가 갑자기 달라져서 어떻게 된 건지 확인하고 싶어요'</li><li>'이번 달 청구서가 갑자기 많이 나왔는데 뭐가 달라진 건지 잘 모르겠어요'</li><li>'이번 달에는 조금 더 저렴하게 바꿀 수 있는 방법이 있을까요?'</li></ul> \|
	\| [콜봇상담]유심 구매 및 이동 문의 \| <ul><li>'핸드폰 번호를 바꾸지 않고 새 기기로 바꾸려면 어떻게 해야 하나요?'</li><li>'새 핸드폰 사려고 하는데 기존 번호 그대로 쓰고 싶은데 어떻게 해야 하나요?'</li><li>'다른 곳에서 쓰던 번호를 여기 핸드폰에 그대로 옮기고 싶은데 어떻게 해야 하나요?'</li></ul> \|
	\| [콜봇상담]이전설치 \| <ul><li>'새 집에서 기존에 쓰던 인터넷 그대로 쓸 수 있을까요?'</li><li>'예전에 설치하신 서비스 관련해서 궁금한 게 있는데요'</li><li>'이사 가는데 인터넷이나 전화 연결은 어떻게 해야 하는지 알려줄 수 있나요?'</li></ul> \|
	\| [콜봇상담]인터넷 해지 \| <ul><li>'인터넷이 갑자기 연결이 안 돼서 아예 서비스를 멈추고 싶은데 어떻게 해야 하나요'</li><li>'인터넷 계속 쓰지 않을 건데 서비스는 어떻게 정리해야 하나요?'</li><li>'이번 달부터 인터넷이 갑자기 안 돼서 해결 방법 좀 알려주세요'</li></ul> \|
	\| [콜봇상담]인터넷장애 \| <ul><li>'집 안에 있는 기기들이 인터넷만 자꾸 끊겨서 답답해요'</li><li>'어제부터 집에서 인터넷 연결이 계속 끊겨서 영상도 못 보고 있어요'</li><li>'갑자기 집에서 인터넷 연결이 자주 끊겨서 일을 못 하겠어요'</li></ul> \|
	\| [콜봇상담]일반상담(공통) \| <ul><li>'계약 관련해서 뭔가 바꾸고 싶은데 어떻게 해야 할지 잘 모르겠어요'</li><li>'집에서 TV를 켰는데 화면이 계속 멈추고 이상해요'</li><li>'인터넷 뭔가 이상해서 이용하는 데 불편함이 있는데 도움 받을 수 있을까요?'</li></ul> \|
	\| [콜봇상담]일시정지 및 일시정지 해제(공통) \| <ul><li>'잠깐 동안 서비스가 멈추는 것처럼 느껴져서 좀 불편한데, 어떻게 해결할 수 있을까요?'</li><li>'오랫동안 휴대폰을 안 쓰려고 하는데 어떻게 해야 할지 모르겠어요'</li><li>'조금 동안 휴대폰 사용을 멈추고 싶은데 어떻게 해야 할까요?'</li></ul> \|
	\| [콜봇상담]일시정지 및 일시정지 해제(모) \| <ul><li>'며칠 동안 전화가 안 되길래 확인해보니 사용이 잠깐 멈춰진 것 같아요'</li><li>'한동안 휴대폰을 사용하지 못하게 설정하고 싶어서요'</li><li>'오늘부터 잠깐 휴대폰 사용을 멈추고 싶어서 방법이 궁금해요'</li></ul> \|
	\| [콜봇상담]청구요금조회 \| <ul><li>'이번 달에 사용한 통신비가 평소보다 많이 나와서 확인해보고 싶어요'</li><li>'4월 중에 쓴 통신비가 제대로 결제됐는지 은행 내역이랑 비교해보고 싶어요'</li><li>'이번 달에 사용한 통신비가 예상보다 많이 나와서 확인하고 싶어요'</li></ul> \|
	\| [콜봇상담]통화연결음 가입 및 해지 \| <ul><li>'전화 받을 때마다 예전 멜로디 대신 아무 소리도 안 나서 좀 심심해요'</li><li>'전화 걸었을 때 항상 다른 노래가 나와서 좀 불편한데 바꿀 수 있나요?'</li><li>'전화 받을 때 들리는 음악 같은 거 변경하고 싶은데 어떻게 해야 하나요?'</li></ul> \|
	\| [콜봇상담]통화중대기 가입 및 해지 \| <ul><li>'통화하다가 다른 전화가 걸려오면 바로 못 받아서 답답해요'</li><li>'전화 걸었는데 자꾸 통화 연결이 안 되고 기다리기만 해서 답답해요'</li><li>'전화 걸었는데 상대방이 계속 바쁘다고 나오더라고요, 그런 경우에 따로 기다렸다가 연결되는 시스템 같은 게 있나요?'</li></ul> \|
	\| [콜봇상담]해지(공통) \| <ul><li>'가입한 서비스가 내 상황과 안 맞는 것 같아서 정리 좀 하고 싶어요'</li><li>'손목에 차는 기기가 갑자기 작동을 멈춰서 이제 어떻게 해야 할지 모르겠어요'</li><li>'아니, 가입한 서비스 언제 끝나는지 좀 알려줄 수 있어?'</li></ul> \|
	\| [콜봇상담]홈서비스 가입 \| <ul><li>'집에서 볼 수 있는 채널이 많아지면 좋겠는데 어떻게 해야 할까요?'</li><li>'새로 이사하면서 거실에 화면 붙이는 작업 어떻게 진행하는지 알고 싶어요'</li><li>'새로 이사 가서 집에 인터넷이 빨리 연결됐으면 좋겠는데 어디에 신청해야 하는지 잘 모르겠어요'</li></ul> \|
	\| [콜봇상담]환불_이중납부 \| <ul><li>'지난달에 두 번씩 요금이 빠져서 확인해 달라고 하고 싶어요'</li><li>'지난달 요금에 두 번 결제된 것 같은데 확인 좀 부탁드릴게요'</li><li>'지난 달에 결제된 요금이 두 번 청구된 것 같은데 확인 좀 부탁드려도 될까요?'</li></ul> \|
	\| [콜봇상담]휴대폰 분실문의 \| <ul><li>'어제 가방에서 핸드폰이 안 보여서 진짜 당황스러웠어요, 어떻게 해야 할까요?'</li><li>'어제 길에서 핸드폰을 잃어버린 것 같은데 어떻게 해야 할까요?'</li><li>'핸드폰을 어디에 뒀는지 기억이 안 나서 너무 난감해요'</li></ul> \|
	\| [콜봇상담]휴대폰결제 한도변경 \| <ul><li>'이번 달에 모바일로 결제한 금액이 생각보다 많이 나와서 걱정되네요'</li><li>'휴대폰으로 결제하려는데 갑자기 한도가 부족하다는 메시지가 떠서요'</li><li>'요즘 휴대폰으로 결제할 때 용량이 부족하다고 나와서 어떻게 해야 할지 모르겠어요'</li></ul> \|
	\| [콜봇상담]휴대폰결제(공통) \| <ul><li>'이번 달 핸드폰 요금이 갑자기 많이 나온 것 같은데 이유를 잘 모르겠어요'</li><li>'어제 앱에서 작은 금액이 빠져나간 것 같은데 무슨 일인지 알 수 있을까요?'</li><li>'앱에서 결제하려고 하는데 자꾸 실패해서 답답해요'</li></ul> \|
	\| [콜봇상담]휴대폰보험문의및보상신청 \| <ul><li>'어제 핸드폰이 떨어져서 화면이 금 가버렸는데, 이런 경우 어떻게 해야 하나요?'</li><li>'휴대폰이 고장 나서 보험 처리할 수 있는지 확인하려고요'</li><li>'핸드폰을 떨어뜨려서 고장 났는데 수리비 때문에 걱정돼요'</li></ul> \|
	\| [콜봇이벤트]로밍상담 재질의 \| <ul><li>'다음 달에 해외에 가는데 현지에서 전화나 인터넷을 쓸 수 있는 방법이 궁금해요'</li><li>'이번에 해외 출장을 가게 됐는데 현지에서 인터넷 사용할 때 비용이 얼마나 나올지 걱정돼서요'</li><li>'해외 나갔을 때 휴대폰을 어떻게 써야 추가 요금 걱정 없이 편할까요?'</li></ul> \|
	\| [프리미어요금제약정할인]프리미어 요금제 약정할인 \| <ul><li>'최근에 가입한 서비스가 오래 쓰면 혜택이 더 커진다는 얘기를 들었는데, 어떻게 적용되는지 궁금해요'</li><li>'전에 쓰던 혜택이 다시 적용되는지 궁금해서요'</li><li>'전에 요금 할인 받았던 거랑 같은 조건으로 다시 적용할 수 있을까요?'</li></ul> \|

	## Uses

	### Direct Use for Inference

	First install the SetFit library:

	```bash
	pip install setfit
	```

	Then you can load this model and run inference.

	```python
	from setfit import SetFitModel

	# Download from the 🤗 Hub
	model = SetFitModel.from_pretrained("huiyeong/setfit-callbot-synthetic-neg")
	# Run inference
	preds = model("문자 확인하려고 몇 번을 기다려도 아무것도 안 오네요")
	```

	<!--
	### Downstream Use

	List how someone could finetune this model on their own dataset.
	-->

	<!--
	### Out-of-Scope Use

	List how the model may foreseeably be misused and address what users ought not to do with the model.
	-->

	<!--
	## Bias, Risks and Limitations

	What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.
	-->

	<!--
	### Recommendations

	What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.
	-->

	## Training Details

	### Training Set Metrics
	\| Training set \| Min \| Median \| Max \|
	\|:-------------\|:----\|:--------\|:----\|
	\| Word count \| 5 \| 10.2889 \| 19 \|

	\| Label \| Training Sample Count \|
	\|:---------------------------\|:----------------------\|
	\| [단말기]모바일 U+Shop \| 59 \|
	\| [콜봇공통]장애처리 \| 58 \|
	\| [콜봇상담]IPTV장애 \| 66 \|
	\| [콜봇상담]결합상품문의 \| 60 \|
	\| [콜봇상담]기기변경문의 \| 61 \|
	\| [콜봇상담]납부방법변경 \| 58 \|
	\| [콜봇상담]납부확인서 발급 \| 62 \|
	\| [콜봇상담]듀얼넘버 문의 \| 57 \|
	\| [콜봇상담]모바일 부가서비스 가입 및 해지 \| 62 \|
	\| [콜봇상담]선택약정할인상태 안내 및 등록기능 \| 63 \|
	\| [콜봇상담]세금계산서발행 \| 63 \|
	\| [콜봇상담]스팸차단 서비스 신청 및 해지 \| 56 \|
	\| [콜봇상담]약정문의(공통) \| 59 \|
	\| [콜봇상담]연체문의(공통) \| 57 \|
	\| [콜봇상담]요금납부 \| 58 \|
	\| [콜봇상담]요금문의(공통) \| 60 \|
	\| [콜봇상담]요금제변경 \| 57 \|
	\| [콜봇상담]유심 구매 및 이동 문의 \| 59 \|
	\| [콜봇상담]이전설치 \| 61 \|
	\| [콜봇상담]인터넷 해지 \| 58 \|
	\| [콜봇상담]인터넷장애 \| 57 \|
	\| [콜봇상담]일반상담(공통) \| 59 \|
	\| [콜봇상담]일시정지 및 일시정지 해제(공통) \| 63 \|
	\| [콜봇상담]일시정지 및 일시정지 해제(모) \| 57 \|
	\| [콜봇상담]청구요금조회 \| 61 \|
	\| [콜봇상담]통화연결음 가입 및 해지 \| 55 \|
	\| [콜봇상담]통화중대기 가입 및 해지 \| 64 \|
	\| [콜봇상담]해지(공통) \| 61 \|
	\| [콜봇상담]홈서비스 가입 \| 59 \|
	\| [콜봇상담]환불_이중납부 \| 61 \|
	\| [콜봇상담]휴대폰 분실문의 \| 64 \|
	\| [콜봇상담]휴대폰결제 한도변경 \| 63 \|
	\| [콜봇상담]휴대폰결제(공통) \| 56 \|
	\| [콜봇상담]휴대폰보험문의및보상신청 \| 60 \|
	\| [콜봇이벤트]로밍상담 재질의 \| 60 \|
	\| [프리미어요금제약정할인]프리미어 요금제 약정할인 \| 66 \|

	### Training Hyperparameters
	- batch_size: (16, 16)
	- num_epochs: (5, 5)
	- max_steps: -1
	- sampling_strategy: oversampling
	- num_iterations: 5
	- body_learning_rate: (2e-05, 1e-05)
	- head_learning_rate: 0.01
	- loss: CosineSimilarityLoss
	- distance_metric: cosine_distance
	- margin: 0.25
	- end_to_end: False
	- use_amp: False
	- warmup_proportion: 0.1
	- l2_weight: 0.01
	- seed: 42
	- eval_max_steps: -1
	- load_best_model_at_end: False

	### Training Results
	\| Epoch \| Step \| Training Loss \| Validation Loss \|
	\|:------:\|:----:\|:-------------:\|:---------------:\|
	\| 0.0007 \| 1 \| 0.2346 \| - \|
	\| 0.0370 \| 50 \| 0.1917 \| - \|
	\| 0.0741 \| 100 \| 0.1791 \| - \|
	\| 0.1111 \| 150 \| 0.1577 \| - \|
	\| 0.1481 \| 200 \| 0.1438 \| - \|
	\| 0.1852 \| 250 \| 0.1441 \| - \|
	\| 0.2222 \| 300 \| 0.1344 \| - \|
	\| 0.2593 \| 350 \| 0.1236 \| - \|
	\| 0.2963 \| 400 \| 0.1137 \| - \|
	\| 0.3333 \| 450 \| 0.1068 \| - \|
	\| 0.3704 \| 500 \| 0.0986 \| - \|
	\| 0.4074 \| 550 \| 0.0878 \| - \|
	\| 0.4444 \| 600 \| 0.0949 \| - \|
	\| 0.4815 \| 650 \| 0.0866 \| - \|
	\| 0.5185 \| 700 \| 0.0896 \| - \|
	\| 0.5556 \| 750 \| 0.0835 \| - \|
	\| 0.5926 \| 800 \| 0.0734 \| - \|
	\| 0.6296 \| 850 \| 0.073 \| - \|
	\| 0.6667 \| 900 \| 0.0673 \| - \|
	\| 0.7037 \| 950 \| 0.0663 \| - \|
	\| 0.7407 \| 1000 \| 0.0516 \| - \|
	\| 0.7778 \| 1050 \| 0.0639 \| - \|
	\| 0.8148 \| 1100 \| 0.0563 \| - \|
	\| 0.8519 \| 1150 \| 0.0554 \| - \|
	\| 0.8889 \| 1200 \| 0.0586 \| - \|
	\| 0.9259 \| 1250 \| 0.0624 \| - \|
	\| 0.9630 \| 1300 \| 0.0598 \| - \|
	\| 1.0 \| 1350 \| 0.0494 \| - \|
	\| 1.0370 \| 1400 \| 0.0475 \| - \|
	\| 1.0741 \| 1450 \| 0.0424 \| - \|
	\| 1.1111 \| 1500 \| 0.0439 \| - \|
	\| 1.1481 \| 1550 \| 0.0386 \| - \|
	\| 1.1852 \| 1600 \| 0.0386 \| - \|
	\| 1.2222 \| 1650 \| 0.0415 \| - \|
	\| 1.2593 \| 1700 \| 0.0371 \| - \|
	\| 1.2963 \| 1750 \| 0.039 \| - \|
	\| 1.3333 \| 1800 \| 0.0382 \| - \|
	\| 1.3704 \| 1850 \| 0.037 \| - \|
	\| 1.4074 \| 1900 \| 0.0453 \| - \|
	\| 1.4444 \| 1950 \| 0.0292 \| - \|
	\| 1.4815 \| 2000 \| 0.0391 \| - \|
	\| 1.5185 \| 2050 \| 0.0266 \| - \|
	\| 1.5556 \| 2100 \| 0.0397 \| - \|
	\| 1.5926 \| 2150 \| 0.0289 \| - \|
	\| 1.6296 \| 2200 \| 0.0306 \| - \|
	\| 1.6667 \| 2250 \| 0.0247 \| - \|
	\| 1.7037 \| 2300 \| 0.0258 \| - \|
	\| 1.7407 \| 2350 \| 0.0227 \| - \|
	\| 1.7778 \| 2400 \| 0.0265 \| - \|
	\| 1.8148 \| 2450 \| 0.0274 \| - \|
	\| 1.8519 \| 2500 \| 0.0206 \| - \|
	\| 1.8889 \| 2550 \| 0.0191 \| - \|
	\| 1.9259 \| 2600 \| 0.0266 \| - \|
	\| 1.9630 \| 2650 \| 0.0282 \| - \|
	\| 2.0 \| 2700 \| 0.0286 \| - \|
	\| 2.0370 \| 2750 \| 0.0325 \| - \|
	\| 2.0741 \| 2800 \| 0.0224 \| - \|
	\| 2.1111 \| 2850 \| 0.027 \| - \|
	\| 2.1481 \| 2900 \| 0.0129 \| - \|
	\| 2.1852 \| 2950 \| 0.0205 \| - \|
	\| 2.2222 \| 3000 \| 0.0194 \| - \|
	\| 2.2593 \| 3050 \| 0.0203 \| - \|
	\| 2.2963 \| 3100 \| 0.0186 \| - \|
	\| 2.3333 \| 3150 \| 0.0145 \| - \|
	\| 2.3704 \| 3200 \| 0.0197 \| - \|
	\| 2.4074 \| 3250 \| 0.0244 \| - \|
	\| 2.4444 \| 3300 \| 0.0144 \| - \|
	\| 2.4815 \| 3350 \| 0.0139 \| - \|
	\| 2.5185 \| 3400 \| 0.0182 \| - \|
	\| 2.5556 \| 3450 \| 0.0203 \| - \|
	\| 2.5926 \| 3500 \| 0.0217 \| - \|
	\| 2.6296 \| 3550 \| 0.0131 \| - \|
	\| 2.6667 \| 3600 \| 0.0296 \| - \|
	\| 2.7037 \| 3650 \| 0.0192 \| - \|
	\| 2.7407 \| 3700 \| 0.0183 \| - \|
	\| 2.7778 \| 3750 \| 0.0153 \| - \|
	\| 2.8148 \| 3800 \| 0.0182 \| - \|
	\| 2.8519 \| 3850 \| 0.0194 \| - \|
	\| 2.8889 \| 3900 \| 0.0176 \| - \|
	\| 2.9259 \| 3950 \| 0.0202 \| - \|
	\| 2.9630 \| 4000 \| 0.0211 \| - \|
	\| 3.0 \| 4050 \| 0.0172 \| - \|
	\| 3.0370 \| 4100 \| 0.0184 \| - \|
	\| 3.0741 \| 4150 \| 0.016 \| - \|
	\| 3.1111 \| 4200 \| 0.0081 \| - \|
	\| 3.1481 \| 4250 \| 0.0175 \| - \|
	\| 3.1852 \| 4300 \| 0.0131 \| - \|
	\| 3.2222 \| 4350 \| 0.014 \| - \|
	\| 3.2593 \| 4400 \| 0.0131 \| - \|
	\| 3.2963 \| 4450 \| 0.0199 \| - \|
	\| 3.3333 \| 4500 \| 0.0131 \| - \|
	\| 3.3704 \| 4550 \| 0.0144 \| - \|
	\| 3.4074 \| 4600 \| 0.0149 \| - \|
	\| 3.4444 \| 4650 \| 0.0129 \| - \|
	\| 3.4815 \| 4700 \| 0.0137 \| - \|
	\| 3.5185 \| 4750 \| 0.0216 \| - \|
	\| 3.5556 \| 4800 \| 0.0128 \| - \|
	\| 3.5926 \| 4850 \| 0.0147 \| - \|
	\| 3.6296 \| 4900 \| 0.0087 \| - \|
	\| 3.6667 \| 4950 \| 0.0182 \| - \|
	\| 3.7037 \| 5000 \| 0.0119 \| - \|
	\| 3.7407 \| 5050 \| 0.0168 \| - \|
	\| 3.7778 \| 5100 \| 0.0128 \| - \|
	\| 3.8148 \| 5150 \| 0.0105 \| - \|
	\| 3.8519 \| 5200 \| 0.0181 \| - \|
	\| 3.8889 \| 5250 \| 0.0176 \| - \|
	\| 3.9259 \| 5300 \| 0.0202 \| - \|
	\| 3.9630 \| 5350 \| 0.0142 \| - \|
	\| 4.0 \| 5400 \| 0.0113 \| - \|
	\| 4.0370 \| 5450 \| 0.0105 \| - \|
	\| 4.0741 \| 5500 \| 0.0112 \| - \|
	\| 4.1111 \| 5550 \| 0.0133 \| - \|
	\| 4.1481 \| 5600 \| 0.0086 \| - \|
	\| 4.1852 \| 5650 \| 0.0167 \| - \|
	\| 4.2222 \| 5700 \| 0.0118 \| - \|
	\| 4.2593 \| 5750 \| 0.0096 \| - \|
	\| 4.2963 \| 5800 \| 0.0092 \| - \|
	\| 4.3333 \| 5850 \| 0.0096 \| - \|
	\| 4.3704 \| 5900 \| 0.0082 \| - \|
	\| 4.4074 \| 5950 \| 0.0143 \| - \|
	\| 4.4444 \| 6000 \| 0.012 \| - \|
	\| 4.4815 \| 6050 \| 0.0167 \| - \|
	\| 4.5185 \| 6100 \| 0.0133 \| - \|
	\| 4.5556 \| 6150 \| 0.0091 \| - \|
	\| 4.5926 \| 6200 \| 0.0107 \| - \|
	\| 4.6296 \| 6250 \| 0.0141 \| - \|
	\| 4.6667 \| 6300 \| 0.0201 \| - \|
	\| 4.7037 \| 6350 \| 0.0125 \| - \|
	\| 4.7407 \| 6400 \| 0.0112 \| - \|
	\| 4.7778 \| 6450 \| 0.0117 \| - \|
	\| 4.8148 \| 6500 \| 0.0166 \| - \|
	\| 4.8519 \| 6550 \| 0.0159 \| - \|
	\| 4.8889 \| 6600 \| 0.0084 \| - \|
	\| 4.9259 \| 6650 \| 0.012 \| - \|
	\| 4.9630 \| 6700 \| 0.0098 \| - \|
	\| 5.0 \| 6750 \| 0.0088 \| - \|

	### Framework Versions
	- Python: 3.11.13
	- SetFit: 1.1.2
	- Sentence Transformers: 4.1.0
	- Transformers: 4.52.4
	- PyTorch: 2.6.0+cu124
	- Datasets: 3.6.0
	- Tokenizers: 0.21.2

	## Citation

	### BibTeX
	```bibtex
	@article{https://doi.org/10.48550/arxiv.2209.11055,
	doi = {10.48550/ARXIV.2209.11055},
	url = {https://arxiv.org/abs/2209.11055},
	author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
	keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
	title = {Efficient Few-Shot Learning Without Prompts},
	publisher = {arXiv},
	year = {2022},
	copyright = {Creative Commons Attribution 4.0 International}
	}
	```

	<!--
	## Glossary

	Clearly define terms in order to be accessible across audiences.
	-->

	<!--
	## Model Card Authors

	Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.
	-->

	<!--
	## Model Card Contact

	Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.
	-->