Hugging Face's logo

x2bee
/
KoModernBERT-ecs-GIST

Sentence Similarity
sentence-transformers
Safetensors
modernbert
feature-extraction
Generated from Trainer
dataset_size:1799998
loss:CachedGISTEmbedLoss
Eval Results
text-embeddings-inference
Model card Files
xet
Community

SentenceTransformer based on x2bee/KoModernBERT-base-mlm-ecs-simcse

This is a sentence-transformers model finetuned from x2bee/KoModernBERT-base-mlm-ecs-simcse. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: x2bee/KoModernBERT-base-mlm-ecs-simcse
  • Maximum Sequence Length: 2048 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("x2bee/ModernBERT-ecs-GIST")
# Run inference
sentences = [
    '다지기 기구는 재료를 효과적으로 다지고 혼합할 수 있는 주방 도구이다. 이 기구는 주로 요리 시 재료의 결합과 질감을 향상시키기 위해 사용된다. 다지기 기구는 다양한 크기와 형태로 제공되어, 사용자의 필요에 맞게 선택할 수 있다. 이를 통해 요리의 품질을 높이고, 조리 시간을 단축할 수 있다.',
    '다지기 기구는 음식을 조리할 때 재료를 잘 섞고 부드럽게 만드는 데 도움을 주는 필수 주방 도구이다. 이는 요리의 맛과 질을 개선하고, 요리 과정을 보다 효율적으로 만들어 준다.',
    '다지기 기구는 재료를 혼합하지 않고 오히려 재료를 분리하는 주방 도구이다. 이는 요리를 할 때 전혀 도움이 되지 않는다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Metric Value
cosine_accuracy 0.9791

Training Details

Training Dataset

Unnamed Dataset

  • Size: 1,799,998 training samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative
    type string string string
    details
    • min: 17 tokens
    • mean: 70.96 tokens
    • max: 152 tokens
    • min: 15 tokens
    • mean: 53.97 tokens
    • max: 153 tokens
    • min: 14 tokens
    • mean: 49.48 tokens
    • max: 150 tokens
  • Samples:
    anchor positive negative
    주방 수납 용품은 주방 내에서 조리 도구, 식기 및 기타 용품을 효율적으로 정리하고 보관할 수 있도록 도와주는 다양한 제품들이다. 주방용품은 요리 도구와 식기 같은 물건들을 잘 정리하고 저장하기 위해 여러 가지 방식으로 디자인된 제품이다. 주방 수납 용품은 조리 도구나 식기를 정리하는 데 전혀 도움이 되지 않는 제품들이다.
    이염 방지 용품은 다양한 소재의 제품에서 발생할 수 있는 이염을 예방하기 위한 용품이다. 이염 방지 용품은 여러 가지 재료로 만들어진 제품에서 발생할 수 있는 색이 번지는 현상을 막기 위해 만들어진 것이다. 이염 방지 용품은 오직 단일한 소재의 제품에서만 사용할 수 있다.
    차량 핸들 커버는 자동차 핸들을 보호하고 미끄럼을 방지하며, 더욱 편안한 그립감을 제공하는 제품이다. 자동차 핸들을 덮는 커버는 핸들의 마모를 방지하고, 운전 시 지탱력을 높이며, 쥐는 느낌을 향상시키는 용품이다. 차량 핸들 커버는 핸들을 보호하지 않으며, 미끄럼을 방지하는 기능이 없다.
  • Loss: CachedGISTEmbedLoss with these parameters:
    {'guide': SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
), 'temperature': 0.01}

Evaluation Dataset

Unnamed Dataset

  • Size: 200,000 evaluation samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative
    type string string string
    details
    • min: 18 tokens
    • mean: 70.19 tokens
    • max: 151 tokens
    • min: 15 tokens
    • mean: 53.27 tokens
    • max: 155 tokens
    • min: 15 tokens
    • mean: 48.68 tokens
    • max: 138 tokens
  • Samples:
    anchor positive negative
    다중지능 평가 도구는 개인의 다양한 지능 유형을 평가하여 강점과 약점을 파악하는 데 도움을 주는 도구이다. 다중지능 평가 도구는 각 개인이 가진 여러 지능의 특징을 분석하여 이들의 장단점을 이해하도록 도와주는 기구다. 다중지능 평가 도구는 개인의 지능 유형을 전혀 평가하지 못하는 도구이다.
    데이터베이스 설계에 관한 책은 데이터베이스 구조와 설계 원칙을 설명하는 참고서로, 효과적인 데이터 저장 및 관리 방법을 제시한다. 책에 담긴 내용은 데이터베이스의 설계 및 구조화 방식에 대한 정보를 제공하며, 이는 데이터의 효율적인 저장과 관리를 위한 기초 지식이다. 이 책은 데이터베이스 설계와 관련된 내용을 포함하고 있지 않으며, 효과적인 데이터 저장 방법을 전혀 언급하지 않는다.
    14K, 18K 코티체 사각 컷팅 귀걸이는 고급스러운 14K 또는 18K 금으로 제작된 귀걸이로, 사각 형태의 컷팅 디자인이 특징인 세련된 액세서리이다. 세련된 디자인과 고급 재료로 만들어진 귀걸이는 14K 또는 18K 금으로 제작된 사각 컷 악세서리이다. 14K 또는 18K 금으로 만들어진 컷팅이 없는 귀걸이는 고급스럽지 않다.
  • Loss: CachedGISTEmbedLoss with these parameters:
    {'guide': SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
), 'temperature': 0.01}

Training Hyperparameters

Non-Default Hyperparameters

  • overwrite_output_dir: True
  • eval_strategy: steps
  • per_device_train_batch_size: 4096
  • per_device_eval_batch_size: 16
  • learning_rate: 1e-05
  • warmup_ratio: 0.2
  • push_to_hub: True
  • hub_model_id: x2bee/ModernBERT-ecs-GIST
  • hub_strategy: checkpoint
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: True
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 4096
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 1e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 3.0
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.2
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: True
  • resume_from_checkpoint: None
  • hub_model_id: x2bee/ModernBERT-ecs-GIST
  • hub_strategy: checkpoint
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss test_triplet_cosine_accuracy
0.0185 1 2.3684 - -
0.0370 2 2.3889 - -
0.0556 3 2.3838 - -
0.0741 4 2.3771 - -
0.0926 5 2.3611 - -
0.1111 6 2.3567 - -
0.1296 7 2.3447 - -
0.1481 8 2.3366 - -
0.1667 9 2.2655 - -
0.1852 10 2.2951 - -
0.2037 11 2.2416 - -
0.2222 12 2.2242 - -
0.2407 13 2.1981 - -
0.2593 14 2.1923 - -
0.2778 15 2.0876 - -
0.2963 16 2.0796 - -
0.3148 17 2.0372 - -
0.3333 18 1.9932 - -
0.3519 19 1.9682 - -
0.3704 20 1.9146 - -
0.3889 21 1.8736 - -
0.4074 22 1.8396 - -
0.4259 23 1.7937 - -
0.4444 24 1.7365 - -
0.4630 25 1.6928 0.1195 0.9867
0.4815 26 1.6248 - -
0.5 27 1.5888 - -
0.5185 28 1.5364 - -
0.5370 29 1.4799 - -
0.5556 30 1.4308 - -
0.5741 31 1.3976 - -
0.5926 32 1.3449 - -
0.6111 33 1.3078 - -
0.6296 34 1.2954 - -
0.6481 35 1.2216 - -
0.6667 36 1.15 - -
0.6852 37 1.1438 - -
0.7037 38 1.1094 - -
0.7222 39 1.0956 - -
0.7407 40 1.0417 - -
0.7593 41 1.0168 - -
0.7778 42 0.9877 - -
0.7963 43 0.98 - -
0.8148 44 0.9519 - -
0.8333 45 0.9394 - -
0.8519 46 0.9178 - -
0.8704 47 0.8871 - -
0.8889 48 0.8571 - -
0.9074 49 0.8474 - -
0.9259 50 0.8474 0.0262 0.9856
0.9444 51 0.8348 - -
0.9630 52 0.8005 - -
0.9815 53 0.7889 - -
1.0 54 0.7706 - -
1.0185 55 0.7546 - -
1.0370 56 0.7205 - -
1.0556 57 0.7285 - -
1.0741 58 0.7147 - -
1.0926 59 0.6896 - -
1.1111 60 0.6798 - -
1.1296 61 0.6816 - -
1.1481 62 0.6665 - -
1.1667 63 0.6676 - -
1.1852 64 0.6518 - -
1.2037 65 0.6523 - -
1.2222 66 0.6249 - -
1.2407 67 0.6133 - -
1.2593 68 0.6274 - -
1.2778 69 0.6034 - -
1.2963 70 0.5967 - -
1.3148 71 0.5882 - -
1.3333 72 0.5757 - -
1.3519 73 0.5616 - -
1.3704 74 0.5584 - -
1.3889 75 0.5554 0.0191 0.9775
1.4074 76 0.5543 - -
1.4259 77 0.5404 - -
1.4444 78 0.5539 - -
1.4630 79 0.5371 - -
1.4815 80 0.5338 - -
1.5 81 0.5098 - -
1.5185 82 0.5045 - -
1.5370 83 0.5008 - -
1.5556 84 0.4976 - -
1.5741 85 0.4865 - -
1.5926 86 0.4706 - -
1.6111 87 0.465 - -
1.6296 88 0.4729 - -
1.6481 89 0.4575 - -
1.6667 90 0.4516 - -
1.6852 91 0.453 - -
1.7037 92 0.4306 - -
1.7222 93 0.434 - -
1.7407 94 0.4321 - -
1.7593 95 0.4227 - -
1.7778 96 0.4186 - -
1.7963 97 0.4022 - -
1.8148 98 0.4057 - -
1.8333 99 0.4018 - -
1.8519 100 0.3852 0.0139 0.9753
1.8704 101 0.389 - -
1.8889 102 0.3801 - -
1.9074 103 0.3896 - -
1.9259 104 0.3759 - -
1.9444 105 0.3614 - -
1.9630 106 0.3616 - -
1.9815 107 0.3422 - -
2.0 108 0.3516 - -
2.0185 109 0.3507 - -
2.0370 110 0.3387 - -
2.0556 111 0.343 - -
2.0741 112 0.3335 - -
2.0926 113 0.3356 - -
2.1111 114 0.3262 - -
2.1296 115 0.3236 - -
2.1481 116 0.3201 - -
2.1667 117 0.3267 - -
2.1852 118 0.3148 - -
2.2037 119 0.3106 - -
2.2222 120 0.3033 - -
2.2407 121 0.3065 - -
2.2593 122 0.3144 - -
2.2778 123 0.3038 - -
2.2963 124 0.2964 - -
2.3148 125 0.2815 0.0107 0.9766
2.3333 126 0.2997 - -
2.3519 127 0.2863 - -
2.3704 128 0.2809 - -
2.3889 129 0.2786 - -
2.4074 130 0.2878 - -
2.4259 131 0.2736 - -
2.4444 132 0.2786 - -
2.4630 133 0.2695 - -
2.4815 134 0.2731 - -
2.5 135 0.2721 - -
2.5185 136 0.2681 - -
2.5370 137 0.2689 - -
2.5556 138 0.2545 - -
2.5741 139 0.2617 - -
2.5926 140 0.2633 - -
2.6111 141 0.2523 - -
2.6296 142 0.2518 - -
2.6481 143 0.2576 - -
2.6667 144 0.2596 - -
2.6852 145 0.2537 - -
2.7037 146 0.2542 - -
2.7222 147 0.2476 - -
2.7407 148 0.2397 - -
2.7593 149 0.2448 - -
2.7778 150 0.2431 0.0084 0.9791
2.7963 151 0.2408 - -
2.8148 152 0.2394 - -
2.8333 153 0.2317 - -
2.8519 154 0.2367 - -
2.8704 155 0.2375 - -
2.8889 156 0.2351 - -
2.9074 157 0.2448 - -
2.9259 158 0.229 - -
2.9444 159 0.2274 - -
2.9630 160 0.2313 - -
2.9815 161 0.2269 - -
3.0 162 0.2298 - -

Framework Versions

  • Python: 3.11.10
  • Sentence Transformers: 3.4.1
  • Transformers: 4.49.0
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.4.0
  • Datasets: 3.3.2
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
14
Safetensors
Model size
0.2B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for x2bee/KoModernBERT-ecs-GIST

Base model

answerdotai/ModernBERT-base
Finetuned
x2bee/KoModernBERT-base-mlm-ecs-simcse
Finetuned
(1)
this model

Collection including x2bee/KoModernBERT-ecs-GIST

Evaluation results

View on Papers With Code