HyacinthiaIca/LaBSE-Indonesia-Jawa-Wikipedia

SentenceTransformer based on sentence-transformers/LaBSE

This is a sentence-transformers model finetuned from sentence-transformers/LaBSE. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/LaBSE
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (3): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'kabupaten ngada kabupaten pulau flores provinsi nusa tenggara timur indonesia ibu kota kabupaten bajawa luas wilayah jumlah penduduk pertengahan sebanyak jiwa kabupaten ngada memiliki tiga suku besar suku nagekeo suku bajawa suku riung geografi kabupaten ngada membentang lintang selatan bujur timur kabupaten ngada memiliki luas daratan luas perairan panjang pantai rincian berikut luas perairan pantai utara panjang pantai luas perairan pantai selatan panjang pantai batas wilayah batas batas wilayahnya berikut topografi kondisi topografi kabupaten ngada umumnya berbukit tingkat kemiringan lahan relatif tinggi komposisi kemiringan derajat seluas luas wilayah kabupaten ngada kemiringan derajat seluas total luas wilayah kabupaten kemiringan atas derajat seluas total luas wilayah kabupaten ngada hidrologi keadaan hidrologis kabupaten ngada terdiri atas sumber sumber air berasal air tanah air permukaan curah hujan daerah mempunyai permukaan bergunung gunung air tanah umummya didapatkan mata air berasal kawasan pegunungan mempunyai kondisi jenis flora tumbuhan pepohonan cukup rapat kondisi hidrologi kabupaten ngada merupakan air sungai sungai sungai bermuara baik pantai utara maupun pantai selatan kabupaten ngada merupakan hulu daerah aliran sungai das aesesa meliputi sub das wulabhara sub das wae woki iklim berdasarkan klasifikasi iklim wilayah kabupaten ngada sebagian besar beriklim sabana tropis sebagian kecil lainnya beriklim muson tropis suhu udara wilayah ngada sangat erat kaitannya kontur topografinya berbukit bukit suhu udara sebagian besar wilayah ngada cenderung lebih sejuk dibandingkan wilayah nusa tenggara timur berkisar tingkat kelembapan bervariasi beriklim sabana tropis wilayah kabupaten ngada memiliki musim musim penghujan musim kemarau musim kemarau wilayah kabupaten ngada berlangsung bulan bulan mei hingga oktober bulan terkering bulan agustus musim penghujan wilayah berlangsung periode bulan bulan basah november hingga april puncak musim hujan terjadi pertengahan bulan januari hingga bulan februari rata rata curah hujan bulanan lebih per bulan curah hujan tahunan wilayah ngada berkisar per tahun jumlah hari hujan bervariasi hari hujan per tahun pemerintahan kepala daerah dewan perwakilan berikut komposisi anggota dprd kabupaten ngada tiga periode terakhir kecamatan kabupaten ngada terdiri kecamatan kelurahan desa tahun jumlah penduduknya mencapai jiwa luas wilayah sebaran penduduk jiwa daftar kecamatan kelurahan kabupaten ngada berikut demografi penduduk jumlah penduduk kabupaten ngada tahun sebanyak jiwa terdiri laki laki perempuan jumlah penduduk terbanyak terpadat berada kecamatan bajawa jumlah penduduk paling sedikit berada kecamatan wolomeze kecamatan kepadatan penduduk terjarang berada kecamatan riung barat suku bahasa kabupaten ngada memiliki tiga suku besar suku nagekeo suku bajawa suku riung masing masing suku mempunyai kebudayaan sendiri sendiri dipertahankan rumah adat bahasa berbeda satu sama lainnya tarian pakaian adat kebudayaan ngada rumah adat main peranan penting pola kemasyarakatan seorang ngada bagian suatu rumah adat berarti satu marga lambang marga berupa ukiran daerah ngada dimasukkan world heritage tentative list unesco tanggal oktober kategori kebudayaan bahasa utama daerah ngada bahasa ngada agama mayoritas penduduk kabupaten ngada menganut agama kekristenan sebesar rincian katolik sebanyak selebihnya menganut agama kristen protestan sebanyak sebagian lainnya menganut agama islam sebanyak hindu sebanyak kesehatan rumah sakit pariwisata wisata budaya kabupaten ngada sangat terkenal kalangan wisatawan asing tertarik kebudayaan beberapa kampung adat paling banyak dikunjungi kabupaten ngada kampung bena desa tiworiwu kecamatan jerebuu kampung wogo desa ratogesa kecamatan golewa mana terdapat rumah adat peninggalan megalithik kampung bela desa beja kecamatan bajawa kampung gurusina desa watumanu kecamatan jerebuu kampung belaraghi desa keligejo kecamatan aimere wisata alam kabupaten ngada memiliki banyak objek wisata potensi wisata alam lengkap mulai pantai danau air terjun bukit gunung hingga pemandian air panas berikut sejumlah objek wisata potensi wisata alam kabupaten ngada taman laut nasional pulau riung tempat terdapat mawar laut aneka jenis terumbu karang pulau pasir putih kelelawar bakau pulau ontoloe mbou varanus riungnensis kadal raksasa merupakan binatang purbakala hidup alamiah habitatnya hingga wisata air pantai sini air terjun ogi air terjun wae roa air terjun wae pua air terjun wae waru air terjun wae niba air terjun wae laja air terjun soso pantai waewaru pantai enabhara pantai sewowoto permandian air panas mengeruda danau wawomudha tempat wisata lainnya gunung inerie bukit wolobobo ekowisata lekolodo ekonomi perikanan kabupaten ngada memiliki wilayah perairan laut sangat potensial baik pantai utara laut flores kecamatan riung maupun pantai laut selatan laut sawu masing masing kecamatan golewa selatan kecamatan aimere kekayaan laut utama ikan lobster rumput laut mutiara sumber daya perikanan kelautan kabupaten gada memiliki garis pantai sepanjang rincian pantai utara pantai selatan sesuai nomor tahun luas laut menjadi kewenangan kabupaten mencapai mil laut luas wilayah perairan laut sebesar potensi lestari sebanyak ton tahun terdiri potensi ikan pelagis sebanyak ton ikan demersal sebanyak ton tahun tingkat pemanfaatannya baru mencapai ton sisanya perairan umum budidaya jumlah rumah tangga perikanan rtp sebanyak rumah tangga terdiri rumah tangga perikanan nelayan rumah tangga perikanan budidaya jumlah tersebut berstatus nelayan penuh sebanyak orang orang nelayan sambilan pertambangan jenis potensi pertambangan lokasi jumlah kandungannya masing masing terinci berikut besi mangan lokasi mbong milong riung emas lokasi rawangkalo wangka lindi ton perak belerang lokasi mataloko tembaga pasir besi pasir batu lokasi naru aimere tanah liat lokasi bomari langa marmer lokasi sambinasi rawangkalo wangka granodiort zeolit batu permata permata perkebunan kabupaten ngada memiliki potensi perkebunan cukup potensial dikembangkan beberapa jenis komoditas andalan dikembangkan kabupaten ngada kopi kakao jambu mete kemiri kelapa cengkih vanili merica luas lahan kering potensial fungsional seluas sisanya sebesar dimanfaatkan lihat cagar alam riung referensi pranala luar ngada traditional house and megalithic complex unesco world heritage centre accessed phillimore lisa goodson qualitative research tourism ontologies epistemologies and methodologies routledge isbn',
    'kabupatèn ngada kabupatèn provinsi nusa tenggara wétan kutha bajawa kutha krajan kabupatèné kutha kutha liyané liya yané jembar wewengkon kabupatèn hèktar géografi lintang kidul bujur wétan pamaréntahan kabupatèn ngada ketata saking kacamatan désa kalurahan kacamatan kacamatan kabupatèn yaiku aesesa aimere bajawa boawae jere buu keo tengah maupongo nangaroro ngada bawa riung barat riung soa wogomang ulewa wolowae deleng uga pratélan daerah tingkat pranala njaba situs web resmi urung provinsi nusa tenggara wétan',
    'kursi dhampar piranti kanggo lungguh lumrahé kursi nduwéni sikil cacahé papat uga kursi duwé sikil siji tengah kursi barstool lumrahé kursi duwé sèndènan pancikan kanggo sikil ngisor jinisé dideleng bahané antawis kursi digawé kayu plastik wesi miturut kagunaané kursi dipérang sawatara jinis antawis kursi tamu kursi goyang kursi rodha kursi listrik sapanunggalané sajinis kursi wujudé dawa diarani bangku bangku wujudé dawa isa dilungguhi loro luwih lumrahé bangku dianggo prabot ruang tunggu taman pekarangan pranala njaba ergonomics sitting postures and seating archived the wayback machine what armchair archived the wayback machine the versatile folding chairs office furniture store',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.9158, -0.1236],
#         [ 0.9158,  1.0000, -0.1163],
#         [-0.1236, -0.1163,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,753 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 13 tokens mean: 234.74 tokens max: 256 tokens	min: 2 tokens mean: 172.69 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1
  kabupaten pekalongan bahasa jawa hanacaraka pegon sebuah wilayah kabupaten terletak provinsi jawa tengah indonesia ibu kotanya kajen kabupaten berbatasan langsung laut jawa kota pekalongan sebelah utara kabupaten batang sebelah timur kabupaten banjarnegara sebelah selatan kabupaten pemalang sebelah barat penduduk kabupaten pekalongan tahun berjumlah jiwa sebanyak jiwa pertengahan tahun pekalongan berada jalur utara pulau jawa menghubungkan jakarta tuban surabaya angkutan umum antar kota dilayani bus kereta api kota pekalongan geografi bagian utara kabupaten pekalongan merupakan dataran rendah sedang bagian selatan berupa pegunungan bagian rangkaian dataran tinggi dieng sungai sungai besar mengalir antaranya kali sragi kali sengkarang beserta anak anak sungainya kesemuanya bermuara laut jawa kajen ibu kota kabupaten pekalongan berada bagian tengah tengah wilayah kabupaten sebelah selatan kota pekalongan batas wilayah demografi hampir seluruh penduduk kabupaten pekalongan suku jawa mayor...	kabupatèn pekalongan kabupatèn jawa tengah pernahé pantura kutha kajen kutha krajan kabupatèné kutha kutha liyané liya liyané jembar wewengkon kabupatèn hèktar kabupatèn pekalongan dumunung jalur pantura pasisir utara jawa sajarah kabupatèn pekalongan resmi diadegaké miturut undang undang nomor taun ngenani pamaréntah laladan kabupatèn provinsi jawa tengah titiwanci dina selasa pon tanggal agustus dikukuhaké yogyakarta déning pemangku jabatan sementara présidhèn républik indonésia mantri dalam negeri soesanto tirtoprodjo mantri kehakiman pringgo digdo miturut undang undang mau pamaréntah laladan kabupatèn pekalongan diwangun bebarengan laladan liya antarané semarang kendhal demak grobogan pekalongan pemalang tegal brebes pati kudus djepara rembang blora banjumas tjilatjap purbalingga banjarnegara magelang temanggung wonosobo purworejo kebumèn boyolali sragen sukoharjo karanganyar wanagiri géografi kabupatèn pekalongan kalebu salah sijine kabupatèn jawa tengah panggone pinggir lor pulau...
  susu kocok bahasa inggris milkshake minuman dingin campuran susu krim sirop berperasa dikocok hingga berbusa dikocok blender susu kocok dibuat memakai gelas pengocok bertutup shaker britania raya susu kocok dibuat susu dicampur buah cokelat sebagian besar orang amerika serikat susu kocok biasanya terbuat susu krim buah segar cokelat orang amerika serikat tinggal rhode island negara bagian massachusetts bertetangga susu kocok dibuat krim susu dikocok sirop berperasa susu kocok memakai krim disebut cabinet dibuat mesin pengocok berbentuk sebuah peti kecil cabinet negara bagian new england susu kocok dibuat krim disebut velvet frappe istilah frappe dipakai sejak abad sejenis minuman bahasa prancis frappé berarti memakai didinginkan berasal verba frapper berarti membekukan mendinginkan sejarah sebuah kamus terbitan tahun menjelaskan milk shake minuman dibuat susu manis berperasa air soda kadang kadang telur mentah semua bahan diaduk cepat sebuah mesin khusus diciptakan membuat minuman susu...	milkshake mung goyang minangka salah sawijining ombenan biasane digawe nganggo campuran susu krim rasa rasa legi kayata butterscotch saus karamel sirup coklat sirup buah woh utuh campuran kenthel legi adhem
  kabupaten purwakarta bahasa sunda sebuah wilayah kabupaten terletak bagian barat tengah provinsi jawa barat indonesia ibu kota kabupaten berada kecamatan purwakarta kota berjarak sebelah tenggara kota jakarta sebelah barat laut kota bandung kabupaten purwakarta dijuluki kota pensiun suasananya tenang jauh hiruk piruk kota kota pensiun kabupaten purwakarta memiliki julukan kota tasbih purwakarta istimewa kabupaten purwakarta dikenal tempat kelahiran beberapa negarawan pemimpin besar asal jawa barat masanya awal pendirian republik indonesia antaranya pahlawan nasional kusumah atmaja ketua pertama mahkamah agung republik indonesia ipik gandamana bupati pertama kabupaten bogor gubernur jawa barat menteri negeri etimologi purwakarta berasal suku kata purwa artinya permulaan karta berarti ramai hidup pemberian nama purwakarta dilakukan kepindahan ibu kota kabupaten purwakarta wanayasa sindangkasih tahun peristiwa kepindahan ibu kota kabupaten tahunnya diperingati tanggal juli melakukan napak...	kabupatèn purwakarta kabupatèn jawa kulon jembar wewengkon kabupatèn hèktar géografi bujur wétan dan lintang kidul papréntahan kabupatèn purwakarta ketata saking kacamatan kalurahan désa kacamatan kacamatan kabupatèn yaiku babakancikao bojong bungursari campaka cibatu darangdan jatiluhur kiarapedes maniis pasawahan plered pondoksalam purwakarta sukasari sukatani tegalwaru wanayasa deleng uga pratélan kabupatèn kutha indonésia pranala njaba situs web resmi archived the wayback machine jawa kulon cithakan kabupatèn purwakarta

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 10
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
2.2727	500	0.015
4.5455	1000	0.0013
6.8182	1500	0.0015
9.0909	2000	0.0005

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.0
• Transformers: 4.57.1
• PyTorch: 2.8.0+cu126
• Accelerate: 1.11.0
• Datasets: 4.4.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}