--- tags: - sentence-transformers - sentence-similarity - feature-extraction - dense - generated_from_trainer - dataset_size:21620 - loss:MultipleNegativesRankingLoss base_model: meandyou200175/E5_v3_instruct_topic widget: - source_sentence: 'task: classification | query: hope' sentences: - Khác - Lễ hội - Khác - source_sentence: 'task: classification | query: Empire State Aerial View' sentences: - Khác - Du lịch Việt Nam|Danh lam thắng cảnh - Danh lam thắng cảnh|Du lịch quốc tế - source_sentence: 'task: classification | query: Tập 8: Chuyện li kì của Huế : Chùa Từ Hiếu - P2. Tại sao người dân không dám ăn cá? Tại sao chưa ai thấy chiếc hồ này cạn?' sentences: - Lịch sử|Du lịch Việt Nam - Tôn giáo - Khác - source_sentence: 'task: classification | query: Nội dung của xương chậu nữ Hiển thị các cơ quan chính của xương chậu nữ' sentences: - sách - Danh lam thắng cảnh|Du lịch Việt Nam - Y tế - source_sentence: 'task: classification | query: Học lịch sử cười đau bụng, vừa vui vừa dễ nhớ!' sentences: - Lịch sử - Thủ công mỹ nghệ - Âm nhạc pipeline_tag: sentence-similarity library_name: sentence-transformers metrics: - cosine_accuracy@1 - cosine_accuracy@2 - cosine_accuracy@5 - cosine_accuracy@10 - cosine_accuracy@100 - cosine_precision@1 - cosine_precision@2 - cosine_precision@5 - cosine_precision@10 - cosine_precision@100 - cosine_recall@1 - cosine_recall@2 - cosine_recall@5 - cosine_recall@10 - cosine_recall@100 - cosine_ndcg@10 - cosine_mrr@1 - cosine_mrr@2 - cosine_mrr@5 - cosine_mrr@10 - cosine_mrr@100 - cosine_map@100 model-index: - name: SentenceTransformer based on meandyou200175/E5_v3_instruct_topic results: - task: type: information-retrieval name: Information Retrieval dataset: name: Unknown type: unknown metrics: - type: cosine_accuracy@1 value: 0.0328755722014149 name: Cosine Accuracy@1 - type: cosine_accuracy@2 value: 0.06325426550145652 name: Cosine Accuracy@2 - type: cosine_accuracy@5 value: 0.14024136496046608 name: Cosine Accuracy@5 - type: cosine_accuracy@10 value: 0.23928422804827298 name: Cosine Accuracy@10 - type: cosine_accuracy@100 value: 0.7719517270079068 name: Cosine Accuracy@100 - type: cosine_precision@1 value: 0.0328755722014149 name: Cosine Precision@1 - type: cosine_precision@2 value: 0.03162713275072826 name: Cosine Precision@2 - type: cosine_precision@5 value: 0.02804827299209322 name: Cosine Precision@5 - type: cosine_precision@10 value: 0.0239284228048273 name: Cosine Precision@10 - type: cosine_precision@100 value: 0.007719517270079068 name: Cosine Precision@100 - type: cosine_recall@1 value: 0.0328755722014149 name: Cosine Recall@1 - type: cosine_recall@2 value: 0.06325426550145652 name: Cosine Recall@2 - type: cosine_recall@5 value: 0.14024136496046608 name: Cosine Recall@5 - type: cosine_recall@10 value: 0.23928422804827298 name: Cosine Recall@10 - type: cosine_recall@100 value: 0.7719517270079068 name: Cosine Recall@100 - type: cosine_ndcg@10 value: 0.11846399039841277 name: Cosine Ndcg@10 - type: cosine_mrr@1 value: 0.0328755722014149 name: Cosine Mrr@1 - type: cosine_mrr@2 value: 0.048064918851435705 name: Cosine Mrr@2 - type: cosine_mrr@5 value: 0.06906644472187543 name: Cosine Mrr@5 - type: cosine_mrr@10 value: 0.08210801313173335 name: Cosine Mrr@10 - type: cosine_mrr@100 value: 0.10204118490728512 name: Cosine Mrr@100 - type: cosine_map@100 value: 0.10204118490728524 name: Cosine Map@100 --- # SentenceTransformer based on meandyou200175/E5_v3_instruct_topic This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [meandyou200175/E5_v3_instruct_topic](https://huggingface.co/meandyou200175/E5_v3_instruct_topic). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [meandyou200175/E5_v3_instruct_topic](https://huggingface.co/meandyou200175/E5_v3_instruct_topic) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 1024 dimensions - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'}) (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) (2): Normalize() ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("meandyou200175/E5_v4_instruct_topic_continue") # Run inference sentences = [ 'task: classification | query: Học lịch sử cười đau bụng, vừa vui vừa dễ nhớ!', 'Lịch sử', 'Âm nhạc', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 1024] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities) # tensor([[ 1.0000, 0.7909, -0.1353], # [ 0.7909, 1.0000, -0.0556], # [-0.1353, -0.0556, 1.0000]]) ``` ## Evaluation ### Metrics #### Information Retrieval * Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) | Metric | Value | |:---------------------|:-----------| | cosine_accuracy@1 | 0.0329 | | cosine_accuracy@2 | 0.0633 | | cosine_accuracy@5 | 0.1402 | | cosine_accuracy@10 | 0.2393 | | cosine_accuracy@100 | 0.772 | | cosine_precision@1 | 0.0329 | | cosine_precision@2 | 0.0316 | | cosine_precision@5 | 0.028 | | cosine_precision@10 | 0.0239 | | cosine_precision@100 | 0.0077 | | cosine_recall@1 | 0.0329 | | cosine_recall@2 | 0.0633 | | cosine_recall@5 | 0.1402 | | cosine_recall@10 | 0.2393 | | cosine_recall@100 | 0.772 | | **cosine_ndcg@10** | **0.1185** | | cosine_mrr@1 | 0.0329 | | cosine_mrr@2 | 0.0481 | | cosine_mrr@5 | 0.0691 | | cosine_mrr@10 | 0.0821 | | cosine_mrr@100 | 0.102 | | cosine_map@100 | 0.102 | ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 21,620 training samples * Columns: anchor and positive * Approximate statistics based on the first 1000 samples: | | anchor | positive | |:--------|:------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | anchor | positive | |:------------------------------------------------------------------------------------------------------------|:---------------------------------------------------| | task: classification \| query: Phở tái lăn bí truyền | Ẩm thực địa phương | | task: classification \| query: 100 ngày thay đổi tư duy với DAS - Bí Mật Học Viện Số - Ngày 19 | Khám phá kiến thức\|Học tập - Kỹ năng | | task: classification \| query: Vacation Houses Nguồn: tourswaparks | Du lịch nghỉ dưỡng | * Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim", "gather_across_devices": false } ``` ### Evaluation Dataset #### Unnamed Dataset * Size: 2,403 evaluation samples * Columns: anchor and positive * Approximate statistics based on the first 1000 samples: | | anchor | positive | |:--------|:------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | anchor | positive | |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------| | task: classification \| query: Yoolife Nền tảng số mang thực phẩm sạch từ Nông Trại đến tận mâm cơm gia đình Việt Làm người nông dân sao mà khổ thế!! lam lũ quoanh năm, thiên tai hạn hán dịch bệnh hoành hành, được mùa thì mất giá được giá thì mất mùa. Thấu hiểu được những khó khăn của các chủ nông trại, Yoolife đã trở thành cầu nối tiêu thụ nông sản sạch, an toàn trên không gian mạng. Thông qua siêu ứng dụng Yooseller, bạn có thể: • Mang thực phẩm sạch đến người dùng, không qua trung gian • Sản phẩm kiểm định chặt chẽ, đạt tiêu chuẩn VietGAP • Tiếp cận hơn 1 triệu người dùng trên nền tảng • Miễn phí cho các nhà cung cấp dịch vụ YooSeller cầu nối giữa các trang trại với người tiêu dùng. Hãy tải ngay siêu ứng dụng để đưa thực phẩm sạch đến gần với người dùng nhé! --------------------------------- | Chuyển đổi số\|Công nghệ thông tin - Viễn thông | | task: classification \| query: Nhà máy Sunhouse Sunhouse có tên đầy đủ là Công ty Cổ phần Tập đoàn Sunhouse, tiền thân là Công ty TNHH Phú Thắng. Đây là doanh nghiệp chuyên sản xuất và kinh doanh các thiết bị gia dụng. Công ty chính thức được thành lập vào ngày 22 5 2000. Đến năm 2004, Sunhouse liên doanh với công ty TNHH Sunhouse Hàn Quốc, thành lập nên Công ty TNHH Sunhouse Việt Nam. Sau 19 năm hình thành và phát triển, Sunhouse đã gia nhập vào nhóm những doanh nghiệp nghìn tỷ, với 7 công ty thành viên và 6 cụm nhà máy, tổng diện tích hơn 60 ha. Tổng số cán bộ nhân viên làm việc tại tập đoàn lên đến hơn 2.000 người. Sunhouse được đánh giá là cánh chim đầu đàn của ngành gia dụng Việt Nam. Không chỉ nổi tiếng trong lãnh thổ Việt Nam mà các sản phẩm mang thương hiệu này đã vươn tầm quốc tế. Hiện nay, doanh nghiệp có mạng lưới 50.000 điểm bá | Doanh nghiệp> Thông tin doanh nghiệp | | task: classification \| query: Chào các bạn! Hôm nay, mình sẽ chia sẻ những mẹo và kiến thức cực kỳ hữu ích để bạn tự tin hơn khi thi bằng lái xe! P33 | Đời sống> Xe | * Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim", "gather_across_devices": false } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 4 - `per_device_eval_batch_size`: 4 - `learning_rate`: 2e-05 - `num_train_epochs`: 5 - `warmup_ratio`: 0.1 - `fp16`: True - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 4 - `per_device_eval_batch_size`: 4 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 2e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 5 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: True - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `hub_revision`: None - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `liger_kernel_config`: None - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional - `router_mapping`: {} - `learning_rate_mapping`: {}
### Training Logs
Click to expand | Epoch | Step | Training Loss | Validation Loss | cosine_ndcg@10 | |:------:|:-----:|:-------------:|:---------------:|:--------------:| | 0.0185 | 100 | 2.469 | - | - | | 0.0370 | 200 | 1.3544 | - | - | | 0.0555 | 300 | 0.6754 | - | - | | 0.0740 | 400 | 0.6252 | - | - | | 0.0925 | 500 | 0.4433 | - | - | | 0.1110 | 600 | 0.5628 | - | - | | 0.1295 | 700 | 0.3955 | - | - | | 0.1480 | 800 | 0.4755 | - | - | | 0.1665 | 900 | 0.3112 | - | - | | 0.1850 | 1000 | 0.3946 | 0.3953 | 0.0805 | | 0.2035 | 1100 | 0.3676 | - | - | | 0.2220 | 1200 | 0.3984 | - | - | | 0.2405 | 1300 | 0.3767 | - | - | | 0.2590 | 1400 | 0.3796 | - | - | | 0.2775 | 1500 | 0.3332 | - | - | | 0.2960 | 1600 | 0.4419 | - | - | | 0.3145 | 1700 | 0.4107 | - | - | | 0.3330 | 1800 | 0.3513 | - | - | | 0.3515 | 1900 | 0.3502 | - | - | | 0.3700 | 2000 | 0.4331 | 0.3697 | 0.0884 | | 0.3885 | 2100 | 0.5259 | - | - | | 0.4070 | 2200 | 0.4406 | - | - | | 0.4255 | 2300 | 0.4705 | - | - | | 0.4440 | 2400 | 0.3596 | - | - | | 0.4625 | 2500 | 0.2859 | - | - | | 0.4810 | 2600 | 0.3895 | - | - | | 0.4995 | 2700 | 0.4653 | - | - | | 0.5180 | 2800 | 0.3776 | - | - | | 0.5365 | 2900 | 0.4929 | - | - | | 0.5550 | 3000 | 0.31 | 0.4504 | 0.0847 | | 0.5735 | 3100 | 0.3791 | - | - | | 0.5920 | 3200 | 0.3522 | - | - | | 0.6105 | 3300 | 0.3995 | - | - | | 0.6290 | 3400 | 0.3699 | - | - | | 0.6475 | 3500 | 0.3751 | - | - | | 0.6660 | 3600 | 0.3472 | - | - | | 0.6846 | 3700 | 0.3968 | - | - | | 0.7031 | 3800 | 0.4328 | - | - | | 0.7216 | 3900 | 0.4753 | - | - | | 0.7401 | 4000 | 0.3527 | 0.3451 | 0.0974 | | 0.7586 | 4100 | 0.506 | - | - | | 0.7771 | 4200 | 0.4896 | - | - | | 0.7956 | 4300 | 0.4368 | - | - | | 0.8141 | 4400 | 0.373 | - | - | | 0.8326 | 4500 | 0.3498 | - | - | | 0.8511 | 4600 | 0.3926 | - | - | | 0.8696 | 4700 | 0.3924 | - | - | | 0.8881 | 4800 | 0.4206 | - | - | | 0.9066 | 4900 | 0.4101 | - | - | | 0.9251 | 5000 | 0.4193 | 0.3383 | 0.0910 | | 0.9436 | 5100 | 0.3777 | - | - | | 0.9621 | 5200 | 0.3059 | - | - | | 0.9806 | 5300 | 0.4198 | - | - | | 0.9991 | 5400 | 0.2563 | - | - | | 1.0176 | 5500 | 0.225 | - | - | | 1.0361 | 5600 | 0.3237 | - | - | | 1.0546 | 5700 | 0.2978 | - | - | | 1.0731 | 5800 | 0.3044 | - | - | | 1.0916 | 5900 | 0.2087 | - | - | | 1.1101 | 6000 | 0.2689 | 0.3643 | 0.0988 | | 1.1286 | 6100 | 0.3699 | - | - | | 1.1471 | 6200 | 0.2942 | - | - | | 1.1656 | 6300 | 0.2929 | - | - | | 1.1841 | 6400 | 0.3152 | - | - | | 1.2026 | 6500 | 0.3352 | - | - | | 1.2211 | 6600 | 0.3146 | - | - | | 1.2396 | 6700 | 0.3873 | - | - | | 1.2581 | 6800 | 0.258 | - | - | | 1.2766 | 6900 | 0.1435 | - | - | | 1.2951 | 7000 | 0.2508 | 0.3768 | 0.0966 | | 1.3136 | 7100 | 0.2884 | - | - | | 1.3321 | 7200 | 0.2962 | - | - | | 1.3506 | 7300 | 0.1903 | - | - | | 1.3691 | 7400 | 0.2946 | - | - | | 1.3876 | 7500 | 0.2658 | - | - | | 1.4061 | 7600 | 0.2052 | - | - | | 1.4246 | 7700 | 0.3019 | - | - | | 1.4431 | 7800 | 0.3147 | - | - | | 1.4616 | 7900 | 0.4272 | - | - | | 1.4801 | 8000 | 0.2707 | 0.3430 | 0.1000 | | 1.4986 | 8100 | 0.3127 | - | - | | 1.5171 | 8200 | 0.2775 | - | - | | 1.5356 | 8300 | 0.2783 | - | - | | 1.5541 | 8400 | 0.3092 | - | - | | 1.5726 | 8500 | 0.35 | - | - | | 1.5911 | 8600 | 0.3076 | - | - | | 1.6096 | 8700 | 0.2935 | - | - | | 1.6281 | 8800 | 0.3629 | - | - | | 1.6466 | 8900 | 0.2885 | - | - | | 1.6651 | 9000 | 0.3249 | 0.3294 | 0.0997 | | 1.6836 | 9100 | 0.2983 | - | - | | 1.7021 | 9200 | 0.3599 | - | - | | 1.7206 | 9300 | 0.2341 | - | - | | 1.7391 | 9400 | 0.4031 | - | - | | 1.7576 | 9500 | 0.3911 | - | - | | 1.7761 | 9600 | 0.3025 | - | - | | 1.7946 | 9700 | 0.2315 | - | - | | 1.8131 | 9800 | 0.2946 | - | - | | 1.8316 | 9900 | 0.2679 | - | - | | 1.8501 | 10000 | 0.3445 | 0.3247 | 0.1015 | | 1.8686 | 10100 | 0.2243 | - | - | | 1.8871 | 10200 | 0.3345 | - | - | | 1.9056 | 10300 | 0.2642 | - | - | | 1.9241 | 10400 | 0.2012 | - | - | | 1.9426 | 10500 | 0.211 | - | - | | 1.9611 | 10600 | 0.2834 | - | - | | 1.9796 | 10700 | 0.2376 | - | - | | 1.9981 | 10800 | 0.2351 | - | - | | 2.0167 | 10900 | 0.1985 | - | - | | 2.0352 | 11000 | 0.2464 | 0.3235 | 0.1079 | | 2.0537 | 11100 | 0.2602 | - | - | | 2.0722 | 11200 | 0.176 | - | - | | 2.0907 | 11300 | 0.2486 | - | - | | 2.1092 | 11400 | 0.2541 | - | - | | 2.1277 | 11500 | 0.1925 | - | - | | 2.1462 | 11600 | 0.2509 | - | - | | 2.1647 | 11700 | 0.1799 | - | - | | 2.1832 | 11800 | 0.219 | - | - | | 2.2017 | 11900 | 0.2076 | - | - | | 2.2202 | 12000 | 0.2285 | 0.3028 | 0.1061 | | 2.2387 | 12100 | 0.1823 | - | - | | 2.2572 | 12200 | 0.1999 | - | - | | 2.2757 | 12300 | 0.1392 | - | - | | 2.2942 | 12400 | 0.2552 | - | - | | 2.3127 | 12500 | 0.2481 | - | - | | 2.3312 | 12600 | 0.2164 | - | - | | 2.3497 | 12700 | 0.2157 | - | - | | 2.3682 | 12800 | 0.1425 | - | - | | 2.3867 | 12900 | 0.0909 | - | - | | 2.4052 | 13000 | 0.2931 | 0.3439 | 0.1011 | | 2.4237 | 13100 | 0.2031 | - | - | | 2.4422 | 13200 | 0.0993 | - | - | | 2.4607 | 13300 | 0.1865 | - | - | | 2.4792 | 13400 | 0.208 | - | - | | 2.4977 | 13500 | 0.2853 | - | - | | 2.5162 | 13600 | 0.1936 | - | - | | 2.5347 | 13700 | 0.1752 | - | - | | 2.5532 | 13800 | 0.2559 | - | - | | 2.5717 | 13900 | 0.2441 | - | - | | 2.5902 | 14000 | 0.2715 | 0.2953 | 0.1098 | | 2.6087 | 14100 | 0.196 | - | - | | 2.6272 | 14200 | 0.2194 | - | - | | 2.6457 | 14300 | 0.2381 | - | - | | 2.6642 | 14400 | 0.2637 | - | - | | 2.6827 | 14500 | 0.1453 | - | - | | 2.7012 | 14600 | 0.2422 | - | - | | 2.7197 | 14700 | 0.2159 | - | - | | 2.7382 | 14800 | 0.2205 | - | - | | 2.7567 | 14900 | 0.1853 | - | - | | 2.7752 | 15000 | 0.2028 | 0.2925 | 0.1072 | | 2.7937 | 15100 | 0.2016 | - | - | | 2.8122 | 15200 | 0.155 | - | - | | 2.8307 | 15300 | 0.1925 | - | - | | 2.8492 | 15400 | 0.2408 | - | - | | 2.8677 | 15500 | 0.1464 | - | - | | 2.8862 | 15600 | 0.2035 | - | - | | 2.9047 | 15700 | 0.1883 | - | - | | 2.9232 | 15800 | 0.1747 | - | - | | 2.9417 | 15900 | 0.251 | - | - | | 2.9602 | 16000 | 0.2151 | 0.2953 | 0.1117 | | 2.9787 | 16100 | 0.226 | - | - | | 2.9972 | 16200 | 0.1442 | - | - | | 3.0157 | 16300 | 0.191 | - | - | | 3.0342 | 16400 | 0.1304 | - | - | | 3.0527 | 16500 | 0.2252 | - | - | | 3.0712 | 16600 | 0.1846 | - | - | | 3.0897 | 16700 | 0.1608 | - | - | | 3.1082 | 16800 | 0.1582 | - | - | | 3.1267 | 16900 | 0.1602 | - | - | | 3.1452 | 17000 | 0.1086 | 0.2637 | 0.1048 | | 3.1637 | 17100 | 0.1155 | - | - | | 3.1822 | 17200 | 0.113 | - | - | | 3.2007 | 17300 | 0.1622 | - | - | | 3.2192 | 17400 | 0.1963 | - | - | | 3.2377 | 17500 | 0.1556 | - | - | | 3.2562 | 17600 | 0.0897 | - | - | | 3.2747 | 17700 | 0.0999 | - | - | | 3.2932 | 17800 | 0.1499 | - | - | | 3.3117 | 17900 | 0.2365 | - | - | | 3.3302 | 18000 | 0.146 | 0.2748 | 0.1113 | | 3.3488 | 18100 | 0.1591 | - | - | | 3.3673 | 18200 | 0.1885 | - | - | | 3.3858 | 18300 | 0.1959 | - | - | | 3.4043 | 18400 | 0.076 | - | - | | 3.4228 | 18500 | 0.176 | - | - | | 3.4413 | 18600 | 0.1378 | - | - | | 3.4598 | 18700 | 0.0648 | - | - | | 3.4783 | 18800 | 0.1488 | - | - | | 3.4968 | 18900 | 0.1361 | - | - | | 3.5153 | 19000 | 0.1573 | 0.2878 | 0.1096 | | 3.5338 | 19100 | 0.2488 | - | - | | 3.5523 | 19200 | 0.1086 | - | - | | 3.5708 | 19300 | 0.1405 | - | - | | 3.5893 | 19400 | 0.0423 | - | - | | 3.6078 | 19500 | 0.1069 | - | - | | 3.6263 | 19600 | 0.088 | - | - | | 3.6448 | 19700 | 0.1489 | - | - | | 3.6633 | 19800 | 0.0865 | - | - | | 3.6818 | 19900 | 0.1839 | - | - | | 3.7003 | 20000 | 0.1476 | 0.2914 | 0.1159 | | 3.7188 | 20100 | 0.2212 | - | - | | 3.7373 | 20200 | 0.1638 | - | - | | 3.7558 | 20300 | 0.0782 | - | - | | 3.7743 | 20400 | 0.1215 | - | - | | 3.7928 | 20500 | 0.1478 | - | - | | 3.8113 | 20600 | 0.1934 | - | - | | 3.8298 | 20700 | 0.1594 | - | - | | 3.8483 | 20800 | 0.1216 | - | - | | 3.8668 | 20900 | 0.2124 | - | - | | 3.8853 | 21000 | 0.0981 | 0.2789 | 0.1141 | | 3.9038 | 21100 | 0.126 | - | - | | 3.9223 | 21200 | 0.1077 | - | - | | 3.9408 | 21300 | 0.1176 | - | - | | 3.9593 | 21400 | 0.1776 | - | - | | 3.9778 | 21500 | 0.094 | - | - | | 3.9963 | 21600 | 0.1025 | - | - | | 4.0148 | 21700 | 0.1589 | - | - | | 4.0333 | 21800 | 0.1142 | - | - | | 4.0518 | 21900 | 0.1656 | - | - | | 4.0703 | 22000 | 0.0577 | 0.2660 | 0.1105 | | 4.0888 | 22100 | 0.0911 | - | - | | 4.1073 | 22200 | 0.0844 | - | - | | 4.1258 | 22300 | 0.0606 | - | - | | 4.1443 | 22400 | 0.1653 | - | - | | 4.1628 | 22500 | 0.0968 | - | - | | 4.1813 | 22600 | 0.055 | - | - | | 4.1998 | 22700 | 0.1013 | - | - | | 4.2183 | 22800 | 0.0587 | - | - | | 4.2368 | 22900 | 0.1309 | - | - | | 4.2553 | 23000 | 0.053 | 0.2554 | 0.1165 | | 4.2738 | 23100 | 0.1312 | - | - | | 4.2923 | 23200 | 0.1208 | - | - | | 4.3108 | 23300 | 0.159 | - | - | | 4.3293 | 23400 | 0.1135 | - | - | | 4.3478 | 23500 | 0.0956 | - | - | | 4.3663 | 23600 | 0.1353 | - | - | | 4.3848 | 23700 | 0.1623 | - | - | | 4.4033 | 23800 | 0.1296 | - | - | | 4.4218 | 23900 | 0.1103 | - | - | | 4.4403 | 24000 | 0.0837 | 0.2514 | 0.1175 | | 4.4588 | 24100 | 0.1124 | - | - | | 4.4773 | 24200 | 0.0893 | - | - | | 4.4958 | 24300 | 0.0852 | - | - | | 4.5143 | 24400 | 0.152 | - | - | | 4.5328 | 24500 | 0.0731 | - | - | | 4.5513 | 24600 | 0.1839 | - | - | | 4.5698 | 24700 | 0.0393 | - | - | | 4.5883 | 24800 | 0.1167 | - | - | | 4.6068 | 24900 | 0.0909 | - | - | | 4.6253 | 25000 | 0.098 | 0.2621 | 0.1196 | | 4.6438 | 25100 | 0.1655 | - | - | | 4.6623 | 25200 | 0.1086 | - | - | | 4.6809 | 25300 | 0.116 | - | - | | 4.6994 | 25400 | 0.0594 | - | - | | 4.7179 | 25500 | 0.0677 | - | - | | 4.7364 | 25600 | 0.0915 | - | - | | 4.7549 | 25700 | 0.0784 | - | - | | 4.7734 | 25800 | 0.0746 | - | - | | 4.7919 | 25900 | 0.0613 | - | - | | 4.8104 | 26000 | 0.0682 | 0.2570 | 0.1189 | | 4.8289 | 26100 | 0.1423 | - | - | | 4.8474 | 26200 | 0.1023 | - | - | | 4.8659 | 26300 | 0.085 | - | - | | 4.8844 | 26400 | 0.0916 | - | - | | 4.9029 | 26500 | 0.1068 | - | - | | 4.9214 | 26600 | 0.1184 | - | - | | 4.9399 | 26700 | 0.0873 | - | - | | 4.9584 | 26800 | 0.136 | - | - | | 4.9769 | 26900 | 0.1196 | - | - | | 4.9954 | 27000 | 0.1096 | 0.2472 | 0.1185 |
### Framework Versions - Python: 3.11.13 - Sentence Transformers: 5.1.2 - Transformers: 4.53.3 - PyTorch: 2.6.0+cu124 - Accelerate: 1.9.0 - Datasets: 4.4.1 - Tokenizers: 0.21.2 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MultipleNegativesRankingLoss ```bibtex @misc{henderson2017efficient, title={Efficient Natural Language Response Suggestion for Smart Reply}, author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, year={2017}, eprint={1705.00652}, archivePrefix={arXiv}, primaryClass={cs.CL} } ```