SentenceTransformer based on indobenchmark/indobert-base-p1

This is a sentence-transformers model finetuned from indobenchmark/indobert-base-p1 on the indo_legalqa_triplets dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("retriever_checkpoints")
# Run inference
sentences = [
    'Apakah seseorang yang melakukan wanprestasi suatu perjanjian dapat dikatakan melakukan suatu penipuan?',
    'Dalam buku "Hukum Bisnis Untuk Perusahaan" karya Abdul R. Saliman (2005:47), dijelaskan beberapa kondisi yang menyebabkan debitur dapat dianggap melakukan wanprestasi.  Penjelasan tersebut merinci situasi-situasi di mana debitur, meskipun telah dinyatakan lalai, tetap gagal memenuhi kewajiban perjanjiannya atau hanya dapat memenuhi kewajiban tersebut melewati batas waktu yang telah ditentukan.  Buku ini memberikan pemahaman mendalam tentang berbagai aspek hukum bisnis, termasuk definisi dan implikasi wanprestasi dalam konteks perjanjian bisnis.  Penulis memaparkan  konsekuensi hukum bagi debitur yang melakukan wanprestasi, serta  hak-hak yang dimiliki oleh kreditur dalam menghadapi situasi tersebut.',
    "['(1)  a.  saksi dipanggil ke dalam ruang sidang seorang demi seorang  menurut urutan yang dipandang sebaik-baiknya oleh hakim ketua  sidang setelah mendengar pendapat penuntut umum, terdakwa  atau penasihat hukum;  b.  yang pertama-tama didengar keterangannya adalah korban yang  menjadi saksi;  c.  dalam hal ada saksi baik yang menguntungkan maupun yang  memberatkan terdakwa yang tercantum dalam surat pelimpahan  perkara dan atau yang diminta oleh terdakwa atau penasihat  hukum atau penuntut umum selama berlangsungnya sidang atau  sebelum dijatuhkannya putusan, hakim ketua sidang wajib  mendengar keterangan saksi tersebut.', '(2)  hakim ketua sidang menanyakan kepada saksi keterangan tentang nama  lengkap, tempat lahir, umur atau tanggal lahir, jenis kelamin,  kebangsaan, tempat tinggal, agama dan pekerjaan, selanjutnya apakah  ia kenal terdakwa sebelum terdakwa melakukan perbuatan yang menjadi  dasar dakwaan serta apakah ia berkeluarga sedarah atau semenda dan  sampai derajat keberapa dengan terdakwa, atau apakah ia suami atau  isteri terdakwa meskipun sudah bercerai atau terikat hubungan kerja  dengannya.', '(3)  sebelum memberi keterangan, saksi wajib mengucapkan sumpah atau  janji menurut cara agamanya masing-masing, bahwa ia akan memberikan  keterangan yang  sebenarnya dan tidak lain daripada yang sebenarnya.']",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

indo_legalqa_triplets

  • Dataset: indo_legalqa_triplets at 2659be8
  • Size: 7,037 training samples
  • Columns: q, pos, and neg
  • Approximate statistics based on the first 1000 samples:
    q pos neg
    type string string string
    details
    • min: 9 tokens
    • mean: 60.37 tokens
    • max: 179 tokens
    • min: 19 tokens
    • mean: 118.11 tokens
    • max: 512 tokens
    • min: 36 tokens
    • mean: 488.87 tokens
    • max: 512 tokens
  • Samples:
    q pos neg
    Apa pasal yang bisa menjerat pengurus yayasan filantropi yang menyalahgunakan dana donasi? Apakah penyelewengan atau penyalahgunaan dana donasi yayasan swasta itu bisa dikategorikan sebagai korupsi? Apakah masyarakat dapat melaporkan kasus tersebut kepada KPK? Penjelasan Pasal 32 ayat (1) Undang-Undang Nomor 31 Tahun 1999 tentang Pemberantasan Tindak Pidana Korupsi : Yang dimaksud dengan “secara nyata telah ada kerugian keuangan negara” adalah kerugian yang sudah dapat dihitung jumlahnya berdasarkan hasil temuan instansi yang berwenang atau akuntan publik yang ditunjuk. Ayat (2) Yang dimaksud dengan “putusan bebas” adalah putusan pengadilan sebagaimana dimaksud dalam Pasal 191 ayat (1) dan ayat (2) Undang-undang Nomor 8 Tahun 1981 tentang Hukum Acara Pidana. Pasal 37 angka 12 Perppu Cipta Kerja yang mengubah Pasal 82 ayat (3) UU P3H. : ['(1) setiap orang yang mengoperasikan pesawat udara untuk kegiatan angkutan udara wajib memiliki sertifikat. (21 sertifrkat sebagaimana dimaksud pada ayat (1) terdiri atas: a. sertilikat operator pesawat udara (air operator ertificatel yang diberikan kepada badan hukum indonesia yang mengoperasikan pesawat udara sipil untuk angkutan udara niaga; atau b. sertiflkat pengoperasian pesawat udara (operating ertificatel yang diberikan kepada orang atau badan hukum indonesia yang pesawat udara sipil untuk angkutan udara bukan niaga. 19. pasal 42 dihapus. 21. ketentuan. . . sk no 132655 a 20. pasal 43 dihapus. presiden repuelik indonesia -430- 21. ketentuan pasal 45 diubah sehingga berbunyi sebagai berikut: pasal 45 ketentuan lebih lanjut mengenai tata cara dan prosedur memperoleh sertifrkat operator pesawat udara atau sertilikat pengoperasian pesawat udara dan kriteria, jenis, besaran denda, dan tata cara pengenaa...
    Apa pasal yang bisa menjerat pengurus yayasan filantropi yang menyalahgunakan dana donasi? Apakah penyelewengan atau penyalahgunaan dana donasi yayasan swasta itu bisa dikategorikan sebagai korupsi? Apakah masyarakat dapat melaporkan kasus tersebut kepada KPK? Pasal 1 angka 15 Undang-Undang Nomor 15 Tahun 2006 tentang Badan Pemeriksa Keuangan : 15. kerugian negara/daerah adalah kekurangan uang, surat berharga, dan barang, yang nyata dan pasti jumlahnya sebagai akibat perbuatan melawan hukum baik sengaja maupun lalai. Pasal 37 angka 12 Perppu Cipta Kerja yang mengubah Pasal 82 ayat (3) UU P3H. : ['(1) setiap orang yang mengoperasikan pesawat udara untuk kegiatan angkutan udara wajib memiliki sertifikat. (21 sertifrkat sebagaimana dimaksud pada ayat (1) terdiri atas: a. sertilikat operator pesawat udara (air operator ertificatel yang diberikan kepada badan hukum indonesia yang mengoperasikan pesawat udara sipil untuk angkutan udara niaga; atau b. sertiflkat pengoperasian pesawat udara (operating ertificatel yang diberikan kepada orang atau badan hukum indonesia yang pesawat udara sipil untuk angkutan udara bukan niaga. 19. pasal 42 dihapus. 21. ketentuan. . . sk no 132655 a 20. pasal 43 dihapus. presiden repuelik indonesia -430- 21. ketentuan pasal 45 diubah sehingga berbunyi sebagai berikut: pasal 45 ketentuan lebih lanjut mengenai tata cara dan prosedur memperoleh sertifrkat operator pesawat udara atau sertilikat pengoperasian pesawat udara dan kriteria, jenis, besaran denda, dan tata cara pengenaa...
    Apa pasal yang bisa menjerat pengurus yayasan filantropi yang menyalahgunakan dana donasi? Apakah penyelewengan atau penyalahgunaan dana donasi yayasan swasta itu bisa dikategorikan sebagai korupsi? Apakah masyarakat dapat melaporkan kasus tersebut kepada KPK? Pasal 1 angka 1 Undang-Undang 16 Tahun 2001 tentang Yayasan : pasal 1 dalam undang-undang ini yang dimaksud dengan: 1. yayasan adalah badan hukum yang terdiri atas kekayaan yang dipisahkan dan diperuntukkan untuk mencapai tujuan tertentu di bidang sosial, keagamaan, dan kemanusiaan, yang tidak mempunyai anggota. 2. pengadilan adalah pengadilan negeri yang daerah hukumnya meliputi tempat kedudukan yayasan. 3. kejaksaan adalah kejaksaan negeri yang daerah hukumnya meliputi tempat kedudukan yayasan. 4. akuntan publik adalah akuntan yang memiliki izin untuk menjalankan pekerjaan sebagai akuntan publik. 5. hari adalah hari kerja. 6. menteri adalah menteri kehakiman dan hak asasi manusia. Pasal 37 angka 12 Perppu Cipta Kerja yang mengubah Pasal 82 ayat (3) UU P3H. : ['(1) setiap orang yang mengoperasikan pesawat udara untuk kegiatan angkutan udara wajib memiliki sertifikat. (21 sertifrkat sebagaimana dimaksud pada ayat (1) terdiri atas: a. sertilikat operator pesawat udara (air operator ertificatel yang diberikan kepada badan hukum indonesia yang mengoperasikan pesawat udara sipil untuk angkutan udara niaga; atau b. sertiflkat pengoperasian pesawat udara (operating ertificatel yang diberikan kepada orang atau badan hukum indonesia yang pesawat udara sipil untuk angkutan udara bukan niaga. 19. pasal 42 dihapus. 21. ketentuan. . . sk no 132655 a 20. pasal 43 dihapus. presiden repuelik indonesia -430- 21. ketentuan pasal 45 diubah sehingga berbunyi sebagai berikut: pasal 45 ketentuan lebih lanjut mengenai tata cara dan prosedur memperoleh sertifrkat operator pesawat udara atau sertilikat pengoperasian pesawat udara dan kriteria, jenis, besaran denda, dan tata cara pengenaa...
  • Loss: TripletLoss with these parameters:
    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 5
    }
    

Evaluation Dataset

indo_legalqa_triplets

  • Dataset: indo_legalqa_triplets at 2659be8
  • Size: 610 evaluation samples
  • Columns: q, pos, and neg
  • Approximate statistics based on the first 610 samples:
    q pos neg
    type string string string
    details
    • min: 8 tokens
    • mean: 52.38 tokens
    • max: 223 tokens
    • min: 5 tokens
    • mean: 93.74 tokens
    • max: 512 tokens
    • min: 12 tokens
    • mean: 480.32 tokens
    • max: 512 tokens
  • Samples:
    q pos neg
    Bisakah pemilik Showroom mobil dikenakan UU Tindak Pidana Pencucian Uang apabila pembelinya menggunakan uang hasil tindak pidana korupsi untuk membeli mobil? Terima kasih admin hukumonline.com ['(1) penyedia barang dan/atau jasa lain sebagaimana dimaksud dalam pasal 17 ayat (1) huruf b wajib menyampaikan laporan transaksi yang dilakukan oleh pengguna jasa dengan mata uang rupiah dan/atau mata uang asing yang nilainya paling sedikit atau setara dengan rp500.000.000,00 (lima ratus juta rupiah) kepada ppatk.', '(2) laporan . . . (2) laporan transaksi sebagaimana dimaksud pada ayat (1) disampaikan paling lama 14 (empat belas) hari kerja terhitung sejak tanggal transaksi dilakukan.'] ['(1) setiap orang yang mengoperasikan pesawat udara untuk kegiatan angkutan udara wajib memiliki sertifikat. (21 sertifrkat sebagaimana dimaksud pada ayat (1) terdiri atas: a. sertilikat operator pesawat udara (air operator ertificatel yang diberikan kepada badan hukum indonesia yang mengoperasikan pesawat udara sipil untuk angkutan udara niaga; atau b. sertiflkat pengoperasian pesawat udara (operating ertificatel yang diberikan kepada orang atau badan hukum indonesia yang pesawat udara sipil untuk angkutan udara bukan niaga. 19. pasal 42 dihapus. 21. ketentuan. . . sk no 132655 a 20. pasal 43 dihapus. presiden repuelik indonesia -430- 21. ketentuan pasal 45 diubah sehingga berbunyi sebagai berikut: pasal 45 ketentuan lebih lanjut mengenai tata cara dan prosedur memperoleh sertifrkat operator pesawat udara atau sertilikat pengoperasian pesawat udara dan kriteria, jenis, besaran denda, dan tata cara pengenaan sanksi administratif diatur dalam peraturan pemerintah. 22. ketentuan pasal 4...
    Saya memiliki kasus, yaitu 2 minggu yang lalu toko mebel kami mengalami kebakaran, lalu api yang membakar toko mebel kami merambat, dan membakar salah satu rumah tetangga yang ada di samping toko mebel kami. Secara hukum, kami ingin mengerti apakah tetangga yang rumahnya terbakar dapat menuntut kami atas insiden itu? Dalam KUHP lama yang pada saat artikel ini diterbitkan masih berlaku, dan UU 1/2023 tentang KUHP baru yang berlaku terhitung 3 tahun sejak tanggal diundangkan,[2] yaitu tahun 2026, tidak ditemukan suatu definisi tentang kealpaan, sehingga perlu merujuk kepada suatu doktrin hukum. Spam & praktik penipuan; Komunitas YouTube dibangun atas dasar kepercayaan. Konten yang bertujuan untuk menipu, menyesatkan, mengirim spam, atau menipu pengguna lain tidak diizinkan di YouTube. Kebijakan spam, praktik penipuan, & penipuan Kebijakan peniruan identitas Kebijakan tautan eksternal Kebijakan keterlibatan palsu Kebijakan daftar putar Kebijakan tambahan. Konten sensitif; Kami berharap dapat melindungi penonton, kreator, dan khususnya anak di bawah umur. Itulah sebabnya kami memiliki aturan seputar menjaga keamanan anak, seks & ketelanjangan, dan tindakan menyakiti diri sendiri. Pelajari apa saja yang diizinkan di YouTube dan apa yang harus dilakukan jika Anda melihat konten yang tidak mematuhi kebijakan ini. Kebijakan konten ketelanjangan & seksual Kebijakan gambar mini Kebijakan keselamatan anak Kebijakan bunuh diri, menyakiti diri sendiri, dan gangguan makan Kebijakan bahasa vulgar. Konten kekerasan atau berbahaya; Ujaran kebencian, perilaku predator, kekerasan grafis, sera...
    Mohon izin bertanya bapak/ibu. Apakah menerima gadai kendaraan secara sadar hanya diperlihatkan fisik kendaraan dan STNK-nya saja apakah perbuatan yang salah secara hukum? Akhirnya berujung masalah ternyata mobil yang digadai itu adalah mobil rental. Apakah bisa yang menerima gadai itu dikenakan Pasal 480 KUHP? Terimakasih bapak atau ibu atas perhatiannya. Undang-Undang ini mulai berlaku setelah 3 (tiga) tahun terhitung sejak tanggal diundangkan. Agar setiap orang mengetahuinya, memerintahkan pengundangan Undang-Undang ini dengan penempatannya dalam Lembaran Negara Republik Indonesia. ['(1) setiap orang yang mengoperasikan pesawat udara untuk kegiatan angkutan udara wajib memiliki sertifikat. (21 sertifrkat sebagaimana dimaksud pada ayat (1) terdiri atas: a. sertilikat operator pesawat udara (air operator ertificatel yang diberikan kepada badan hukum indonesia yang mengoperasikan pesawat udara sipil untuk angkutan udara niaga; atau b. sertiflkat pengoperasian pesawat udara (operating ertificatel yang diberikan kepada orang atau badan hukum indonesia yang pesawat udara sipil untuk angkutan udara bukan niaga. 19. pasal 42 dihapus. 21. ketentuan. . . sk no 132655 a 20. pasal 43 dihapus. presiden repuelik indonesia -430- 21. ketentuan pasal 45 diubah sehingga berbunyi sebagai berikut: pasal 45 ketentuan lebih lanjut mengenai tata cara dan prosedur memperoleh sertifrkat operator pesawat udara atau sertilikat pengoperasian pesawat udara dan kriteria, jenis, besaran denda, dan tata cara pengenaan sanksi administratif diatur dalam peraturan pemerintah. 22. ketentuan pasal 4...
  • Loss: TripletLoss with these parameters:
    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 5
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 4
  • gradient_accumulation_steps: 8
  • learning_rate: 2e-05
  • num_train_epochs: 10
  • load_best_model_at_end: True

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 4
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 8
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 10
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • tp_size: 0
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss Validation Loss
0.4545 100 0.3101 -
0.9091 200 0.3352 0.0143
1.3636 300 0.1978 -
1.8182 400 0.0518 0.0005
2.2727 500 0.0287 -
2.7273 600 0.0684 0.0
3.1818 700 0.0239 -
3.6364 800 0.0552 0.0153
4.0909 900 0.0048 -
4.5455 1000 0.0118 0.0
5.0 1100 0.0072 -
5.4545 1200 0.0031 0.0046
5.9091 1300 0.002 -
6.3636 1400 0.0082 0.0058
6.8182 1500 0.0 -
7.2727 1600 0.0 0.0050
7.7273 1700 0.0 -
8.1818 1800 0.0 0.0050
8.6364 1900 0.0004 -
9.0909 2000 0.0051 0.0022
9.5455 2100 0.0 -
10.0 2200 0.0 0.0023
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.11.12
  • Sentence Transformers: 3.4.1
  • Transformers: 4.51.3
  • PyTorch: 2.6.0+cu124
  • Accelerate: 1.6.0
  • Datasets: 3.6.0
  • Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}
Downloads last month
94
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for ShoAnn/indobert-base-p1-legalqa-retriever

Finetuned
(149)
this model

Dataset used to train ShoAnn/indobert-base-p1-legalqa-retriever

Papers for ShoAnn/indobert-base-p1-legalqa-retriever