procesaur/Emo355

SentenceTransformer based on jerteh/Jerteh-355

This is a sentence-transformers model finetuned from jerteh/Jerteh-355. It maps sentences & paragraphs to a 16-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: jerteh/Jerteh-355
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 16 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 1024, 'out_features': 16, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Kako brat "Komita" zamišlja stručni i demokratski dijalog) Ali, dobro. Nije mu lako. Imali su težak dan😃 http',
    'Obnovljena prva godina na fakultetu,Imam 21 godinu i studiram stomatologiju. Obnovila sam prvu godinu (sada bih trebala da sam druga), i osećam se mnogo loše povodom toga. Prošle godine u ovom periodu sam se osećala mnogo depresivno, anksiozno, i usamljeno (i sada se tako osećam samo malo manje), nisam tražila pomoć jer sam mislila da ću uspeti da se izborim sa sobom i na kraju položim ispite koji su mi potrebni za drugu godinu, ali nisam. Osećala sam ogromnu krivicu jer to nije smelo da mi se desi. Jedino mi majka radi, ona je medicinska sestra i ona izdržava nas četvoro. Znam koliko oni trpe i žrtvuju se samo da bih ja mogla da idem na fakultet i obezbedim sebi bolju budućnost.\\n\\nVeć neko vreme imam blokadu što se tiče učenja. Ostao mi je još jedan ispit da očistim godinu, i to najteži (anatomija). I imam problem da ne mogu da nateram sebe da sednem da učim, tj. kad god sednem i krenem da učim učim malo i već posle nekog vremena moje misli se razlete na sve strane i počinjem da se vraćam u prošlost i razmišljam o svojim neuspesima. Imam utisak da se uopšte nisam snašla, jer sam upisala fakultet u drugom prijemnom roku (na prvom mi je falio poen), odmah krenula na fakultet posle tolikog stresa, kasnije korona i online predavanja i vežbe, nisam dovoljno učila, više sam bila pod stresom, ne znam ni sama.\\n\\nProšle godine kada sam tek obnovila godinu, htela sam što pre da položim sve ispite koji su mi ostali i zaposlim se i uštedim novac za drugu godinu, ali nisam uspela, mnogo sam se razvukla sam ispitima, nisam mogla lepo da učim. Inače sam uvek bila odličan đak i nisam imala problema što se učenja tiče, uvek sam mogla da učim, ali poslednje dve godine ne znam šta mi se dešava. Samopouzdanje mi je mnogo opalo, i mislim da sam mnogo glupa i da ništa ne mogu da uradim kako treba. \\n\\nHtela bih da vas zamolim za neki savet kako bih mogla ovo da prebrodim jer stvarno nemam više ni motivacije ni volje, svakog dana sam tužna i plačem, ne znam šta više da radim sa sobom.',
    '@user @user Ostaćeš upamćen u istoriji kao ostrašćeni vladar, a ne državnik. Kao onaj koji je naredio da se neistomišljenici batinaju. Živi sa tim teretom, sam si tako odlučio. Niko se neće sećati tvojih puteva i mostova, kao što se ne sećaju Tadićevih ... Sećaće se samo ovoga. http',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 16]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss
0.2674	100	0.1507	0.1294
0.5348	200	0.1275	0.1217
0.8021	300	0.1205	0.1153

Framework Versions

• Python: 3.12.7
• Sentence Transformers: 3.1.1
• Transformers: 4.45.2
• PyTorch: 2.5.1+cu124
• Accelerate: 1.0.1
• Datasets: 3.0.2
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MSELoss

@inproceedings{reimers-2020-multilingual-sentence-bert,
    title = "Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/2004.09813",
}