seongil-dn/e5-large-neg-v0-bs40-lr1e-6-1000

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/e5-large-neg-v0-bs40-lr1e-6-1000")
# Run inference
sentences = [
    '아야미 ?카가 홍대 스테이라운지에서 개최하는 것은?',
    '▲ 사진= BJ 야하군 제공 일본 유명 AV배우 아야미 ?카(あやみ旬果)가 한국 팬들을 만난다. 아야미 ?카는 오는 7일 오후 홍대 스테이라운지에서 팬미팅을 개최한다. 야마미 ?카는 독보적인 이미지로 일본 뿐만 아니라 한국에서도 많은 팬을 가지고 있다. 이날 팬미팅에는 근황토크 및 게임, 포토타임, 사인회, 선물 증정 시간 등이 예정돼 있어 팬들의 기대감을 고조시켰다. 한편 아야미 ?카의 팬미팅은 19세 이상의 성인을 대상으로 진행되며, 온라인을 통해 티켓을 구매할 수 있다.',
    '일본 첫 단독공연을 앞둔 힙합그룹 MIB(엠아비)가 일본에서 뜨거운 인기를 실감하고 있다. 공연을 하루 앞둔 지난23일, MIB는 일본 도쿄 시부야에 있는 대형레코드 체인점 \'타워레코드\'에서 \'악수회\'를 성황리에 개최했다. \'악수회\' 수시간 전부터 MIB를 보기 위해 300여명의 팬들이 플래카드를 들고 타워레코드로 모여 현지관 계자를 놀라게 했다. 이에 앞서 MIB는 케이팝 전문방송인 \'K-POP LOVERS\'에 출연해 일본 진출 및 첫 단독 공연을 앞둔 소감을 전한 것은 물론, 강남의 칼럼에 소개된 에피소드에 대해 이야기하고 팬들의 궁금증을 풀어주는 시간도 가졌다. 정글엔터테인먼트 관계자는 "K-힙합을 MIB를 통해 일본 음악시장에 전파 할 수 있는 좋은 기회가 될 것이라고 생각한다"며 "향후 타워레코드 외에도 일본 메이저음반 기획사, 음반사와 접촉해 다양한 프로모션을 진행할 것"이라고 말했다. 현지 연예 관계자는 "MIB 멤버 강남이 재일교포라는 점이 현지 팬들에게 큰 관심을 불러일으키고 있는 것 같다. 특히 강남은 타워레코드 온라인 사이트에 격주 목요일마다 칼럼을 연재하고 있는데 이 또한 큰 인기를 모으고 있다"며 MIB의 일본 내 성공 가능성을 예측했다. 한편, MIB는 오늘(24일) 오후 3시 30분부터 하라주쿠에 위치한 아스트로홀에서 일본의 주요 음반 관계자들이 참석한 가운데 총2회에 걸쳐 일본 첫 단독 공연 \'We are M.I.B\'를 개최한다.& lt;연예부>',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 5e-06
• num_train_epochs: 1
• warmup_steps: 100
• bf16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 100
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0001	1	1.9307
0.0003	2	1.9013
0.0004	3	1.9678
0.0005	4	1.912
0.0007	5	1.9856
0.0008	6	1.9017
0.0009	7	1.8966
0.0011	8	1.9761
0.0012	9	1.9268
0.0013	10	1.9604
0.0015	11	1.8515
0.0016	12	1.9247
0.0017	13	1.9196
0.0019	14	1.9611
0.0020	15	1.9202
0.0021	16	2.0048
0.0023	17	1.8684
0.0024	18	1.9605
0.0025	19	1.9693
0.0027	20	1.9385
0.0028	21	1.9736
0.0029	22	1.8907
0.0030	23	1.9025
0.0032	24	1.9233
0.0033	25	1.9427
0.0034	26	1.8181
0.0036	27	1.9536
0.0037	28	1.9766
0.0038	29	1.8892
0.0040	30	1.9381
0.0041	31	1.9046
0.0042	32	1.9097
0.0044	33	1.8813
0.0045	34	1.9537
0.0046	35	1.8715
0.0048	36	1.9787
0.0049	37	1.8877
0.0050	38	1.8891
0.0052	39	1.9122
0.0053	40	1.8853
0.0054	41	1.9297
0.0056	42	1.8776
0.0057	43	1.887
0.0058	44	1.9018
0.0060	45	1.8387
0.0061	46	1.8525
0.0062	47	1.919
0.0064	48	1.9223
0.0065	49	1.7887
0.0066	50	1.8343
0.0068	51	1.8631
0.0069	52	1.8391
0.0070	53	1.7403
0.0072	54	1.8625
0.0073	55	1.8766
0.0074	56	1.755
0.0076	57	1.8058
0.0077	58	1.7889
0.0078	59	1.8359
0.0080	60	1.8129
0.0081	61	1.8005
0.0082	62	1.7291
0.0084	63	1.7851
0.0085	64	1.8281
0.0086	65	1.7887
0.0088	66	1.743
0.0089	67	1.7501
0.0090	68	1.7622
0.0091	69	1.8374
0.0093	70	1.7625
0.0094	71	1.6925
0.0095	72	1.8021
0.0097	73	1.7379
0.0098	74	1.652
0.0099	75	1.6583
0.0101	76	1.6557
0.0102	77	1.652
0.0103	78	1.6297
0.0105	79	1.668
0.0106	80	1.7019
0.0107	81	1.6268
0.0109	82	1.5703
0.0110	83	1.6884
0.0111	84	1.7507
0.0113	85	1.5727
0.0114	86	1.6969
0.0115	87	1.6063
0.0117	88	1.5675
0.0118	89	1.5301
0.0119	90	1.5201
0.0121	91	1.5569
0.0122	92	1.5325
0.0123	93	1.5406
0.0125	94	1.4992
0.0126	95	1.4889
0.0127	96	1.4308
0.0129	97	1.3782
0.0130	98	1.4542
0.0131	99	1.4327
0.0133	100	1.4437
0.0134	101	1.3352
0.0135	102	1.3605
0.0137	103	1.3732
0.0138	104	1.3752
0.0139	105	1.324
0.0141	106	1.3317
0.0142	107	1.2643
0.0143	108	1.2754
0.0145	109	1.2622
0.0146	110	1.1565
0.0147	111	1.2645
0.0149	112	1.1257
0.0150	113	1.1826
0.0151	114	1.2016
0.0152	115	1.2099
0.0154	116	1.17
0.0155	117	1.2047
0.0156	118	1.1152
0.0158	119	1.1606
0.0159	120	1.1492
0.0160	121	1.1575
0.0162	122	1.1599
0.0163	123	1.1498
0.0164	124	1.0323
0.0166	125	1.1129
0.0167	126	1.0861
0.0168	127	1.0424
0.0170	128	0.9815
0.0171	129	1.0264
0.0172	130	1.0357
0.0174	131	0.9753
0.0175	132	0.9904
0.0176	133	0.9881
0.0178	134	1.0703
0.0179	135	0.9154
0.0180	136	0.8621
0.0182	137	0.9127
0.0183	138	0.9136
0.0184	139	0.9438
0.0186	140	0.9462
0.0187	141	0.8737
0.0188	142	0.9194
0.0190	143	0.8149
0.0191	144	0.9356
0.0192	145	0.8444
0.0194	146	0.7857
0.0195	147	0.8543
0.0196	148	0.7438
0.0198	149	0.6994
0.0199	150	0.8255
0.0200	151	0.7701
0.0202	152	0.7877
0.0203	153	0.7478
0.0204	154	0.8188
0.0206	155	0.7664
0.0207	156	0.6715
0.0208	157	0.7164
0.0210	158	0.7475
0.0211	159	0.701
0.0212	160	0.6741
0.0213	161	0.7849
0.0215	162	0.6964
0.0216	163	0.6787
0.0217	164	0.6701
0.0219	165	0.6845
0.0220	166	0.7393
0.0221	167	0.6533
0.0223	168	0.7024
0.0224	169	0.6524
0.0225	170	0.6748
0.0227	171	0.6508
0.0228	172	0.5762
0.0229	173	0.6419
0.0231	174	0.5881
0.0232	175	0.612
0.0233	176	0.6294
0.0235	177	0.5756
0.0236	178	0.705
0.0237	179	0.6179
0.0239	180	0.6334
0.0240	181	0.6372
0.0241	182	0.7345
0.0243	183	0.6357
0.0244	184	0.5883
0.0245	185	0.5528
0.0247	186	0.5066
0.0248	187	0.5439
0.0249	188	0.5398
0.0251	189	0.5591
0.0252	190	0.5669
0.0253	191	0.5396
0.0255	192	0.5971
0.0256	193	0.5329
0.0257	194	0.5109
0.0259	195	0.4847
0.0260	196	0.6001
0.0261	197	0.4728
0.0263	198	0.4704
0.0264	199	0.4413
0.0265	200	0.4605
0.0267	201	0.488
0.0268	202	0.5198
0.0269	203	0.5348
0.0271	204	0.5426
0.0272	205	0.4714
0.0273	206	0.524
0.0274	207	0.5083
0.0276	208	0.4022
0.0277	209	0.4506
0.0278	210	0.4665
0.0280	211	0.4332
0.0281	212	0.3997
0.0282	213	0.4713
0.0284	214	0.3748
0.0285	215	0.462
0.0286	216	0.4173
0.0288	217	0.5133
0.0289	218	0.468
0.0290	219	0.4126
0.0292	220	0.3928
0.0293	221	0.4335
0.0294	222	0.4527
0.0296	223	0.4301
0.0297	224	0.4705
0.0298	225	0.415
0.0300	226	0.3935
0.0301	227	0.366
0.0302	228	0.4617
0.0304	229	0.4185
0.0305	230	0.3836
0.0306	231	0.3915
0.0308	232	0.3345
0.0309	233	0.4118
0.0310	234	0.4165
0.0312	235	0.3431
0.0313	236	0.3799
0.0314	237	0.3735
0.0316	238	0.4321
0.0317	239	0.4097
0.0318	240	0.4396
0.0320	241	0.3443
0.0321	242	0.4912
0.0322	243	0.4022
0.0324	244	0.3461
0.0325	245	0.444
0.0326	246	0.4546
0.0328	247	0.4318
0.0329	248	0.3992
0.0330	249	0.3472
0.0332	250	0.396
0.0333	251	0.3796
0.0334	252	0.3963
0.0335	253	0.423
0.0337	254	0.3953
0.0338	255	0.3504
0.0339	256	0.3481
0.0341	257	0.3675
0.0342	258	0.4163
0.0343	259	0.352
0.0345	260	0.401
0.0346	261	0.4511
0.0347	262	0.3748
0.0349	263	0.3149
0.0350	264	0.2681
0.0351	265	0.4258
0.0353	266	0.3183
0.0354	267	0.3674
0.0355	268	0.3169
0.0357	269	0.3665
0.0358	270	0.3627
0.0359	271	0.3394
0.0361	272	0.3814
0.0362	273	0.4377
0.0363	274	0.3149
0.0365	275	0.3458
0.0366	276	0.3835
0.0367	277	0.3858
0.0369	278	0.3735
0.0370	279	0.2908
0.0371	280	0.3302
0.0373	281	0.2657
0.0374	282	0.3283
0.0375	283	0.3472
0.0377	284	0.3701
0.0378	285	0.3984
0.0379	286	0.344
0.0381	287	0.3096
0.0382	288	0.382
0.0383	289	0.2969
0.0385	290	0.3521
0.0386	291	0.3656
0.0387	292	0.2156
0.0389	293	0.2769
0.0390	294	0.348
0.0391	295	0.2789
0.0393	296	0.3394
0.0394	297	0.2985
0.0395	298	0.2845
0.0396	299	0.2794
0.0398	300	0.3404
0.0399	301	0.272
0.0400	302	0.2806
0.0402	303	0.359
0.0403	304	0.2621
0.0404	305	0.2795
0.0406	306	0.2954
0.0407	307	0.3162
0.0408	308	0.401
0.0410	309	0.3367
0.0411	310	0.3762
0.0412	311	0.3056
0.0414	312	0.3379
0.0415	313	0.3156
0.0416	314	0.3274
0.0418	315	0.3386
0.0419	316	0.3434
0.0420	317	0.2867
0.0422	318	0.2996
0.0423	319	0.3022
0.0424	320	0.3414
0.0426	321	0.2923
0.0427	322	0.3175
0.0428	323	0.3304
0.0430	324	0.2774
0.0431	325	0.2385
0.0432	326	0.362
0.0434	327	0.3068
0.0435	328	0.2775
0.0436	329	0.3612
0.0438	330	0.3716
0.0439	331	0.3137
0.0440	332	0.2856
0.0442	333	0.3177
0.0443	334	0.2966
0.0444	335	0.351
0.0446	336	0.2747
0.0447	337	0.334
0.0448	338	0.2556
0.0450	339	0.2811
0.0451	340	0.293
0.0452	341	0.2998
0.0454	342	0.2859
0.0455	343	0.2737
0.0456	344	0.2677
0.0457	345	0.2629
0.0459	346	0.3393
0.0460	347	0.2077
0.0461	348	0.2861
0.0463	349	0.297
0.0464	350	0.2625
0.0465	351	0.2875
0.0467	352	0.3205
0.0468	353	0.2951
0.0469	354	0.3056
0.0471	355	0.3167
0.0472	356	0.3063
0.0473	357	0.2618
0.0475	358	0.2525
0.0476	359	0.2869
0.0477	360	0.268
0.0479	361	0.329
0.0480	362	0.2428
0.0481	363	0.4065
0.0483	364	0.36
0.0484	365	0.3337
0.0485	366	0.2657
0.0487	367	0.3232
0.0488	368	0.2078
0.0489	369	0.3193
0.0491	370	0.3445
0.0492	371	0.3573
0.0493	372	0.2867
0.0495	373	0.2931
0.0496	374	0.2472
0.0497	375	0.3192
0.0499	376	0.3306
0.0500	377	0.2881
0.0501	378	0.2421
0.0503	379	0.2565
0.0504	380	0.2229
0.0505	381	0.2859
0.0507	382	0.259
0.0508	383	0.2778
0.0509	384	0.2952
0.0511	385	0.2943
0.0512	386	0.2375
0.0513	387	0.2742
0.0515	388	0.3092
0.0516	389	0.2887
0.0517	390	0.2456
0.0518	391	0.2789
0.0520	392	0.2996
0.0521	393	0.2245
0.0522	394	0.2964
0.0524	395	0.2965
0.0525	396	0.2602
0.0526	397	0.3065
0.0528	398	0.2225
0.0529	399	0.2502
0.0530	400	0.2535
0.0532	401	0.3445
0.0533	402	0.3139
0.0534	403	0.232
0.0536	404	0.2447
0.0537	405	0.3257
0.0538	406	0.2641
0.0540	407	0.2454
0.0541	408	0.2973
0.0542	409	0.2934
0.0544	410	0.3454
0.0545	411	0.3162
0.0546	412	0.2517
0.0548	413	0.2399
0.0549	414	0.3433
0.0550	415	0.2313
0.0552	416	0.2285
0.0553	417	0.2798
0.0554	418	0.3407
0.0556	419	0.2674
0.0557	420	0.2969
0.0558	421	0.3665
0.0560	422	0.2255
0.0561	423	0.2393
0.0562	424	0.3153
0.0564	425	0.2871
0.0565	426	0.2331
0.0566	427	0.2986
0.0568	428	0.2717
0.0569	429	0.2719
0.0570	430	0.2401
0.0572	431	0.3039
0.0573	432	0.2839
0.0574	433	0.2681
0.0576	434	0.2383
0.0577	435	0.248
0.0578	436	0.2649
0.0579	437	0.2803
0.0581	438	0.2594
0.0582	439	0.2581
0.0583	440	0.1916
0.0585	441	0.2726
0.0586	442	0.3164
0.0587	443	0.2197
0.0589	444	0.2992
0.0590	445	0.2456
0.0591	446	0.2471
0.0593	447	0.2251
0.0594	448	0.2601
0.0595	449	0.2776
0.0597	450	0.2862
0.0598	451	0.2087
0.0599	452	0.2595
0.0601	453	0.2999
0.0602	454	0.2091
0.0603	455	0.2563
0.0605	456	0.2277
0.0606	457	0.2301
0.0607	458	0.2402
0.0609	459	0.2494
0.0610	460	0.2709
0.0611	461	0.286
0.0613	462	0.265
0.0614	463	0.2205
0.0615	464	0.3257
0.0617	465	0.2403
0.0618	466	0.2221
0.0619	467	0.2415
0.0621	468	0.2372
0.0622	469	0.2816
0.0623	470	0.2298
0.0625	471	0.3038
0.0626	472	0.2694
0.0627	473	0.238
0.0629	474	0.2296
0.0630	475	0.2784
0.0631	476	0.2422
0.0633	477	0.2675
0.0634	478	0.2939
0.0635	479	0.2393
0.0637	480	0.2433
0.0638	481	0.268
0.0639	482	0.2381
0.0640	483	0.3069
0.0642	484	0.2794
0.0643	485	0.2628
0.0644	486	0.2404
0.0646	487	0.2309
0.0647	488	0.282
0.0648	489	0.312
0.0650	490	0.1765
0.0651	491	0.2379
0.0652	492	0.2543
0.0654	493	0.2469
0.0655	494	0.2743
0.0656	495	0.2989
0.0658	496	0.2591
0.0659	497	0.2603
0.0660	498	0.2469
0.0662	499	0.2843
0.0663	500	0.3094
0.0664	501	0.308
0.0666	502	0.2748
0.0667	503	0.2872
0.0668	504	0.2911
0.0670	505	0.2638
0.0671	506	0.2492
0.0672	507	0.2105
0.0674	508	0.2691
0.0675	509	0.323
0.0676	510	0.2523
0.0678	511	0.24
0.0679	512	0.23
0.0680	513	0.2539
0.0682	514	0.1826
0.0683	515	0.2862
0.0684	516	0.2399
0.0686	517	0.3351
0.0687	518	0.2342
0.0688	519	0.3024
0.0690	520	0.2693
0.0691	521	0.2057
0.0692	522	0.2194
0.0694	523	0.155
0.0695	524	0.2445
0.0696	525	0.2262
0.0698	526	0.235
0.0699	527	0.2306
0.0700	528	0.2437
0.0701	529	0.2656
0.0703	530	0.2731
0.0704	531	0.281
0.0705	532	0.2421
0.0707	533	0.2406
0.0708	534	0.3476
0.0709	535	0.3076
0.0711	536	0.2794
0.0712	537	0.2168
0.0713	538	0.2138
0.0715	539	0.2067
0.0716	540	0.335
0.0717	541	0.2257
0.0719	542	0.2593
0.0720	543	0.2709
0.0721	544	0.2433
0.0723	545	0.2653
0.0724	546	0.2434
0.0725	547	0.2253
0.0727	548	0.2034
0.0728	549	0.2703
0.0729	550	0.3162
0.0731	551	0.2171
0.0732	552	0.2334
0.0733	553	0.2613
0.0735	554	0.2287
0.0736	555	0.2343
0.0737	556	0.2008
0.0739	557	0.2462
0.0740	558	0.2756
0.0741	559	0.2186
0.0743	560	0.2357
0.0744	561	0.1811
0.0745	562	0.2386
0.0747	563	0.2244
0.0748	564	0.3145
0.0749	565	0.2261
0.0751	566	0.2449
0.0752	567	0.2855
0.0753	568	0.235
0.0755	569	0.2283
0.0756	570	0.2084
0.0757	571	0.2431
0.0759	572	0.2362
0.0760	573	0.2498
0.0761	574	0.2542
0.0762	575	0.2262
0.0764	576	0.2368
0.0765	577	0.2673
0.0766	578	0.2123
0.0768	579	0.2354
0.0769	580	0.2616
0.0770	581	0.2296
0.0772	582	0.2837
0.0773	583	0.256
0.0774	584	0.1973
0.0776	585	0.2311
0.0777	586	0.2219
0.0778	587	0.2318
0.0780	588	0.2215
0.0781	589	0.2474
0.0782	590	0.1652
0.0784	591	0.2297
0.0785	592	0.2132
0.0786	593	0.2405
0.0788	594	0.2012
0.0789	595	0.2628
0.0790	596	0.2305
0.0792	597	0.1794
0.0793	598	0.226
0.0794	599	0.2852
0.0796	600	0.2026
0.0797	601	0.2286
0.0798	602	0.2489
0.0800	603	0.244
0.0801	604	0.1933
0.0802	605	0.2627
0.0804	606	0.2742
0.0805	607	0.2534
0.0806	608	0.2006
0.0808	609	0.2651
0.0809	610	0.2365
0.0810	611	0.2613
0.0812	612	0.214
0.0813	613	0.2631
0.0814	614	0.2123
0.0816	615	0.264
0.0817	616	0.2476
0.0818	617	0.1832
0.0820	618	0.2502
0.0821	619	0.2154
0.0822	620	0.1827
0.0823	621	0.1986
0.0825	622	0.1941
0.0826	623	0.3169
0.0827	624	0.2879
0.0829	625	0.1893
0.0830	626	0.2422
0.0831	627	0.1879
0.0833	628	0.1934
0.0834	629	0.2704
0.0835	630	0.2647
0.0837	631	0.172
0.0838	632	0.2293
0.0839	633	0.2379
0.0841	634	0.2218
0.0842	635	0.1942
0.0843	636	0.2721
0.0845	637	0.225
0.0846	638	0.1792
0.0847	639	0.2242
0.0849	640	0.2294
0.0850	641	0.245
0.0851	642	0.2796
0.0853	643	0.2202
0.0854	644	0.2604
0.0855	645	0.2502
0.0857	646	0.2551
0.0858	647	0.2426
0.0859	648	0.2284
0.0861	649	0.2045
0.0862	650	0.2009
0.0863	651	0.1626
0.0865	652	0.1887
0.0866	653	0.2635
0.0867	654	0.2657
0.0869	655	0.2294
0.0870	656	0.2273
0.0871	657	0.2435
0.0873	658	0.2155
0.0874	659	0.2994
0.0875	660	0.2589
0.0877	661	0.2215
0.0878	662	0.2351
0.0879	663	0.2421
0.0881	664	0.2354
0.0882	665	0.2121
0.0883	666	0.2563
0.0884	667	0.1664
0.0886	668	0.2368
0.0887	669	0.2324
0.0888	670	0.1557
0.0890	671	0.2187
0.0891	672	0.2257
0.0892	673	0.2098
0.0894	674	0.2091
0.0895	675	0.1942
0.0896	676	0.2308
0.0898	677	0.2143
0.0899	678	0.1557
0.0900	679	0.2221
0.0902	680	0.2849
0.0903	681	0.2145
0.0904	682	0.2729
0.0906	683	0.1669
0.0907	684	0.2307
0.0908	685	0.2233
0.0910	686	0.2401
0.0911	687	0.1956
0.0912	688	0.1902
0.0914	689	0.2097
0.0915	690	0.2348
0.0916	691	0.2459
0.0918	692	0.2128
0.0919	693	0.1694
0.0920	694	0.2565
0.0922	695	0.2284
0.0923	696	0.2436
0.0924	697	0.2159
0.0926	698	0.2138
0.0927	699	0.2371
0.0928	700	0.2882
0.0930	701	0.2451
0.0931	702	0.2459
0.0932	703	0.1529
0.0934	704	0.1697
0.0935	705	0.2245
0.0936	706	0.2201
0.0938	707	0.2318
0.0939	708	0.2236
0.0940	709	0.2343
0.0942	710	0.2339
0.0943	711	0.1975
0.0944	712	0.2275
0.0945	713	0.234
0.0947	714	0.259
0.0948	715	0.2044
0.0949	716	0.1714
0.0951	717	0.2841
0.0952	718	0.2509
0.0953	719	0.2107
0.0955	720	0.1995
0.0956	721	0.1877
0.0957	722	0.2648
0.0959	723	0.2381
0.0960	724	0.2349
0.0961	725	0.2148
0.0963	726	0.2292
0.0964	727	0.2327
0.0965	728	0.2198
0.0967	729	0.2125
0.0968	730	0.241
0.0969	731	0.1878
0.0971	732	0.2262
0.0972	733	0.3006
0.0973	734	0.2525
0.0975	735	0.2099
0.0976	736	0.158
0.0977	737	0.2308
0.0979	738	0.2685
0.0980	739	0.2047
0.0981	740	0.1584
0.0983	741	0.2674
0.0984	742	0.2233
0.0985	743	0.2767
0.0987	744	0.2963
0.0988	745	0.203
0.0989	746	0.2725
0.0991	747	0.1873
0.0992	748	0.2225
0.0993	749	0.2706
0.0995	750	0.27
0.0996	751	0.1753
0.0997	752	0.2031
0.0999	753	0.2059
0.1000	754	0.2749
0.1001	755	0.2011
0.1003	756	0.2067
0.1004	757	0.2486
0.1005	758	0.257
0.1006	759	0.236
0.1008	760	0.2361
0.1009	761	0.1818
0.1010	762	0.1799
0.1012	763	0.2408
0.1013	764	0.2526
0.1014	765	0.2234
0.1016	766	0.2055
0.1017	767	0.2068
0.1018	768	0.2621
0.1020	769	0.2182
0.1021	770	0.309
0.1022	771	0.2786
0.1024	772	0.1517
0.1025	773	0.2266
0.1026	774	0.2028
0.1028	775	0.2851
0.1029	776	0.2474
0.1030	777	0.2241
0.1032	778	0.2593
0.1033	779	0.2101
0.1034	780	0.147
0.1036	781	0.231
0.1037	782	0.1734
0.1038	783	0.2107
0.1040	784	0.219
0.1041	785	0.2229
0.1042	786	0.2096
0.1044	787	0.2777
0.1045	788	0.1967
0.1046	789	0.2445
0.1048	790	0.1847
0.1049	791	0.1525
0.1050	792	0.201
0.1052	793	0.181
0.1053	794	0.1737
0.1054	795	0.1893
0.1056	796	0.2084
0.1057	797	0.2367
0.1058	798	0.2266
0.1060	799	0.1858
0.1061	800	0.2138
0.1062	801	0.1704
0.1064	802	0.2377
0.1065	803	0.2107
0.1066	804	0.172
0.1067	805	0.1858
0.1069	806	0.1804
0.1070	807	0.2421
0.1071	808	0.2433
0.1073	809	0.1867
0.1074	810	0.2003
0.1075	811	0.1785
0.1077	812	0.2538
0.1078	813	0.1582
0.1079	814	0.2325
0.1081	815	0.2073
0.1082	816	0.2168
0.1083	817	0.1958
0.1085	818	0.1847
0.1086	819	0.1702
0.1087	820	0.244
0.1089	821	0.2063
0.1090	822	0.1923
0.1091	823	0.2571
0.1093	824	0.2683
0.1094	825	0.2088
0.1095	826	0.3397
0.1097	827	0.2355
0.1098	828	0.2
0.1099	829	0.2657
0.1101	830	0.1738
0.1102	831	0.2237
0.1103	832	0.2023
0.1105	833	0.1805
0.1106	834	0.1801
0.1107	835	0.2095
0.1109	836	0.1901
0.1110	837	0.2139
0.1111	838	0.2157
0.1113	839	0.2403
0.1114	840	0.1356
0.1115	841	0.2247
0.1117	842	0.2338
0.1118	843	0.185
0.1119	844	0.2787
0.1121	845	0.2026
0.1122	846	0.2
0.1123	847	0.2214
0.1125	848	0.1887
0.1126	849	0.2144
0.1127	850	0.2552
0.1128	851	0.2443
0.1130	852	0.1934
0.1131	853	0.1907
0.1132	854	0.2258
0.1134	855	0.212
0.1135	856	0.2151
0.1136	857	0.2173
0.1138	858	0.1976
0.1139	859	0.2427
0.1140	860	0.1984
0.1142	861	0.2138
0.1143	862	0.2225
0.1144	863	0.1992
0.1146	864	0.1738
0.1147	865	0.1853
0.1148	866	0.2464
0.1150	867	0.2278
0.1151	868	0.2248
0.1152	869	0.1515
0.1154	870	0.1649
0.1155	871	0.2059
0.1156	872	0.2325
0.1158	873	0.2582
0.1159	874	0.2337
0.1160	875	0.2171
0.1162	876	0.2003
0.1163	877	0.1839
0.1164	878	0.3144
0.1166	879	0.1853
0.1167	880	0.2039
0.1168	881	0.2692
0.1170	882	0.2438
0.1171	883	0.3044
0.1172	884	0.2862
0.1174	885	0.211
0.1175	886	0.2682
0.1176	887	0.2622
0.1178	888	0.2321
0.1179	889	0.2082
0.1180	890	0.196
0.1182	891	0.2833
0.1183	892	0.202
0.1184	893	0.1902
0.1186	894	0.1899
0.1187	895	0.2158
0.1188	896	0.2342
0.1189	897	0.1907
0.1191	898	0.2876
0.1192	899	0.192
0.1193	900	0.1858
0.1195	901	0.156
0.1196	902	0.2121
0.1197	903	0.2576
0.1199	904	0.2424
0.1200	905	0.1558
0.1201	906	0.246
0.1203	907	0.2339
0.1204	908	0.258
0.1205	909	0.197
0.1207	910	0.212
0.1208	911	0.1962
0.1209	912	0.2636
0.1211	913	0.16
0.1212	914	0.201
0.1213	915	0.237
0.1215	916	0.1827
0.1216	917	0.2384
0.1217	918	0.2102
0.1219	919	0.2366
0.1220	920	0.2186
0.1221	921	0.147
0.1223	922	0.2121
0.1224	923	0.1364
0.1225	924	0.2493
0.1227	925	0.2246
0.1228	926	0.2436
0.1229	927	0.2798
0.1231	928	0.1885
0.1232	929	0.178
0.1233	930	0.2246
0.1235	931	0.3115
0.1236	932	0.2451
0.1237	933	0.1786
0.1239	934	0.159
0.1240	935	0.1896
0.1241	936	0.2422
0.1243	937	0.2497
0.1244	938	0.2339
0.1245	939	0.1685
0.1247	940	0.162
0.1248	941	0.2064
0.1249	942	0.1232
0.1250	943	0.2158
0.1252	944	0.2738
0.1253	945	0.1813
0.1254	946	0.1498
0.1256	947	0.1617
0.1257	948	0.1967
0.1258	949	0.2021
0.1260	950	0.144
0.1261	951	0.2569
0.1262	952	0.2608
0.1264	953	0.1876
0.1265	954	0.1767
0.1266	955	0.1712
0.1268	956	0.2498
0.1269	957	0.2866
0.1270	958	0.1918
0.1272	959	0.2038
0.1273	960	0.1982
0.1274	961	0.2127
0.1276	962	0.2411
0.1277	963	0.2639
0.1278	964	0.2552
0.1280	965	0.2376
0.1281	966	0.2645
0.1282	967	0.1697
0.1284	968	0.1944
0.1285	969	0.1807
0.1286	970	0.2027
0.1288	971	0.219
0.1289	972	0.2317
0.1290	973	0.2104
0.1292	974	0.2191
0.1293	975	0.2081
0.1294	976	0.239
0.1296	977	0.189
0.1297	978	0.1859
0.1298	979	0.2516
0.1300	980	0.217
0.1301	981	0.269
0.1302	982	0.2385
0.1304	983	0.198
0.1305	984	0.2239
0.1306	985	0.2006
0.1308	986	0.3049
0.1309	987	0.1857
0.1310	988	0.2048
0.1311	989	0.2556
0.1313	990	0.1578
0.1314	991	0.2305
0.1315	992	0.2078
0.1317	993	0.2333
0.1318	994	0.1999
0.1319	995	0.2347
0.1321	996	0.2293
0.1322	997	0.1871
0.1323	998	0.1855
0.1325	999	0.1786
0.1326	1000	0.181

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.1
• Transformers: 4.44.2
• PyTorch: 2.3.1+cu121
• Accelerate: 1.1.1
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}