Update README.md

README.md

@@ -1,21 +1,323 @@
 ---
-base_model: yasserrmd/kallamni-1.2b-v1
+base_model:
+- unsloth/LFM2-1.2B
+- LiquidAI/LFM2-1.2B
 tags:
 - text-generation-inference
 - transformers
 - unsloth
 - lfm2
-license: apache-2.0
+- arabic
+- dialect
+- emirati
+- conversational
+- causal-lm
+- instruction-tuned
+- trl
+license: cc-by-nc-4.0
 language:
-- en
+- ar
 ---
 
-# Uploaded finetuned  model
+# kallamni-1.2b-v1
 
-- **Developed by:** yasserrmd
-- **License:** apache-2.0
-- **Finetuned from model :** yasserrmd/kallamni-1.2b-v1
+<img src="banner.png" width="800" />
 
-This lfm2 model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
+**كالّمني 1.2B v1** هو **نموذج محادثة باللغة العربية** بعدد **1.2 مليار معامل**، مُدرّب خصيصاً على **اللهجة الإماراتية المحكية**.
+النموذج مصمَّم ليُنتج ردوداً **طبيعية، سلسة، ومرتبطة ثقافياً** بالحياة اليومية، بعيداً عن العربية الفصحى الرسمية.
+
+---
+
+## ملخص النموذج
+
+* **نوع النموذج:** لغة سببية (Causal LM) مُهيأ للتعليمات (Instruction-tuned).
+* **اللغات:** اللهجة الإماراتية المحكية.
+* **التدريب:** 3 دورات (Epochs) باستخدام محولات LoRA.
+* **الأُطر:** [Unsloth](https://github.com/unslothai/unsloth) + [TRL](https://github.com/huggingface/trl).
+* **البيانات:** 12,324 زوج سؤال-جواب باللهجة الإماراتية، مولّدة باستخدام **GPT-5** و **GPT-4o**.
+
+---
+
+## البيانات
+
+* **الحجم:** 12,324 مثال.
+* **المصدر:** أزواج سؤال-جواب اصطناعية مولدة عبر GPT-5 + GPT-4o.
+* **المجالات المغطاة:**
+
+  * المحادثات اليومية (تسوق، طقس، تحايا، عائلة، مواصلات).
+  * الفعاليات الاجتماعية والثقافية (الأعياد، الأعراس، المجالس).
+  * الروتين اليومي والأنشطة المنزلية.
+* **الصيغة:** أمثلة على شكل محادثة مع وسوم `<|im_start|>user` / `<|im_start|>assistant`، مثل:
+
+```text
+<|startoftext|><|im_start|>user
+شو تسوي إذا انقطع الإنترنت في البيت؟<|im_end|>
+<|im_start|>assistant
+أول شي أتصل بالشركة، وإذا ما ردوا أستخدم داتا التلفون لين يرجع النت.<|im_end|>
+```
+
+---
+
+## ⚙️ التدريب
+
+* **الأُطر المستخدمة:**
+
+  * **Unsloth** → تحسين كفاءة التدريب والذاكرة، أسرع بحوالي 2×.
+  * **TRL (SFTTrainer)** → تدريب مُراقَب مع مواءمة التعليمات.
+* **النموذج الأساسي:** نموذج خفيف (1.2B) سببي.
+* **عدد الدورات:** 3 مرور كامل على البيانات.
+* **استراتيجية التدريب:**
+
+  * LoRA على طبقات الانتباه + الـ MLP.
+  * استخدام قالب محادثة ثابت عبر TRL.
+
+---
+
+## الاستخدام
+
+يمكنك تحميل وتشغيل النموذج باستخدام مكتبة `transformers`:
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
+import torch
+
+# === 1. تحميل النموذج والمفردات ===
+model_id = "yasserrmd/kallamni-1.2b-v1"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,  # أو torch.float16 إذا مدعوم
+)
+
+# === 2. التعليمات الأساسية (بالعربية) ===
+system_instruction = {
+    "role": "system",
+    "content": "انت مساعد إماراتي. لازم تجاوب باللهجة الإماراتية المحكية فقط، وما تستخدم العربية الفصحى أبداً."
+}
+
+# === 3. أمثلة Few-shot ===
+few_shots = [
+    {"role": "user", "content": "شحالَك اليوم؟"},
+    {"role": "assistant", "content": "الحمدلله زين، وانت كيفك؟"},
+    {"role": "user", "content": "وين ناوي تسير عقب الدوام؟"},
+    {"role": "assistant", "content": "يمكن أمر على المول وأتعشى ويا الربع."},
+]
+
+# === 4. إدخال المستخدم ===
+user_input = {"role": "user", "content": "وين أحلى مكان تاخذ منه قهوة الصبح؟"}
+
+# === 5. دمج جميع الرسائل ===
+messages = [system_instruction] + few_shots + [user_input]
+
+# === 6. تحويل إلى مدخلات النموذج ===
+inputs = tokenizer.apply_chat_template(
+    messages,
+    add_generation_prompt=True,
+    return_tensors="pt"
+).to(model.device)
+
+# === 7. بث الاستجابة ===
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+
+_ = model.generate(
+    inputs,
+    max_new_tokens=100,
+    temperature=0.7,
+    top_p=0.9,
+    repetition_penalty=1.05,
+    streamer=streamer,
+)
+```
+
+---
+
+## الأداء
+
+* **دقة اللهجة:** حوالي 85٪ اتساق إماراتي.
+* **ملاءمة الإجابة:** \~90٪ جيدة أو شبه جيدة.
+* **نقاط الضعف:** أحياناً جمل شبه رسمية أو حشو عام.
+* **نقاط القوة:**
+
+  * استخدام تعابير إماراتية أصيلة.
+  * إجابات طبيعية بطول مناسب (8–15 كلمة).
+  * تغطية متوازنة لمواضيع العائلة، العمل، السفر، والمجتمع.
+
+---
+
+## الاستخدامات المقصودة
+
+* **شات بوتات ومساعدات صوتية** للهجة الإماراتية.
+* **أدوات تعليمية** لتعلم المحادثة باللهجة.
+* **لبنة بيانات** لأبحاث نماذج اللغة الخليجية.
+
+---
+
+## القيود
+
+* قد يخلط أحياناً مع الفصحى أو العربية العامة.
+* غير مناسب للإجابات العلمية أو القانونية أو الطبية.
+* غير مهيأ للسياقات المهنية أو المتخصصة.
+
+---
+
+## الشكر والتقدير
+
+* فريق **Unsloth** على أدوات التدريب الفعّالة.
+* **TRL** من Hugging Face لدعم التدريب الموجه بالتعليمات.
+* توليد البيانات الاصطناعية عبر **GPT-5** و **GPT-4o**.
+* إلهام من إصدارات **Liquid AI** مفتوحة الأوزان.
+
+---
+
+
+# kallamni-1.2b-v1
+<img src="banner.png" width="800" />
+
+**Kallamni 1.2B v1** is a **1.2B parameter Arabic conversational model** fine-tuned specifically for **spoken Emirati Arabic (اللهجة الإماراتية المحكية)**.
+It is designed to generate **natural, fluent, and culturally relevant** responses for daily-life conversations, rather than formal Modern Standard Arabic (MSA).
+
+---
+
+## Model Summary
+
+* **Model type:** Causal LM, instruction-tuned for chat.
+* **Languages:** Emirati Arabic dialect (spoken style).
+* **Fine-tuning:** 3 epochs with LoRA adapters.
+* **Frameworks:** [Unsloth](https://github.com/unslothai/unsloth) + [TRL](https://github.com/huggingface/trl).
+* **Dataset:** 12,324 synthetic Emirati Arabic Q\&A pairs generated using **GPT-5** and **GPT-4o**.
+
+---
+
+## Dataset
+
+* **Size:** 12,324 examples.
+* **Source:** Synthetic Q\&A pairs created via GPT-5 + GPT-4o, Emirati dialect.
+* **Domains covered:**
+
+  * Daily life conversations (shopping, weather, greetings, family, transport).
+  * Social and cultural events (Eid, weddings, gatherings).
+  * Household and personal routines.
+* **Format:** Chat-style examples with `<|im_start|>user` / `<|im_start|>assistant` tokens, e.g.:
+
+```text
+<|startoftext|><|im_start|>user
+شو تسوي إذا انقطع الإنترنت في البيت؟<|im_end|>
+<|im_start|>assistant
+أول شي أتصل بالشركة، وإذا ما ردوا أستخدم داتا التلفون لين يرجع النت.<|im_end|>
+```
+
+---
+
+## ⚙️ Training
+
+* **Frameworks:**
+
+  * **Unsloth** → optimized finetuning, memory efficiency, \~2× faster training.
+  * **TRL (SFTTrainer)** → supervised fine-tuning with instruction alignment.
+* **Base model:** Lightweight 1.2B causal LM.
+* **Epochs:** 3 full passes over the dataset.
+* **Fine-tuning strategy:**
+
+  * LoRA adapters on attention + MLP layers.
+  * Chat template applied consistently with TRL.
+
+---
+
+## Usage
+
+You can load and run the model with `transformers`:
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
+import torch
+
+# === 1. Load model + tokenizer ===
+model_id = "yasserrmd/kallamni-1.2b-v1"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    device_map="auto",
+    torch_dtype=torch.bfloat16,  # or torch.float16 if GPU supports
+)
+
+# === 2. Define system instruction (Arabic) ===
+system_instruction = {
+    "role": "system",
+    "content": "انت مساعد إماراتي. لازم تجاوب باللهجة الإماراتية المحكية فقط، وما تستخدم العربية الفصحى أبداً."
+}
+
+# === 3. Few-shot examples ===
+few_shots = [
+    {"role": "user", "content": "شحالَك اليوم؟"},
+    {"role": "assistant", "content": "الحمدلله زين، وانت كيفك؟"},
+    {"role": "user", "content": "وين ناوي تسير عقب الدوام؟"},
+    {"role": "assistant", "content": "يمكن أمر على المول وأتعشى ويا الربع."},
+]
+
+# === 4. User input ===
+user_input = {"role": "user", "content": "وين أحلى مكان تاخذ منه قهوة الصبح؟"}
+
+# === 5. Combine all messages ===
+messages = [system_instruction] + few_shots + [user_input]
+
+# === 6. Tokenize with chat template ===
+inputs = tokenizer.apply_chat_template(
+    messages,
+    add_generation_prompt=True,
+    return_tensors="pt"
+).to(model.device)
+
+# === 7. Stream output ===
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+
+_ = model.generate(
+    inputs,
+    max_new_tokens=100,
+    temperature=0.7,
+    top_p=0.9,
+    repetition_penalty=1.05,
+    streamer=streamer,
+)
+```
+
+---
+
+## Performance
+
+* **Dialect accuracy:** \~85% Emirati consistency.
+* **Answer relevance:** \~90% good/semi-good.
+* **Weak cases:** occasional semi-formal phrasing or generic filler.
+* **Strengths:**
+
+  * Culturally aligned Emirati expressions.
+  * Natural conversational length (8–15 words minimum).
+  * Balanced coverage of family, work, travel, and social contexts.
+
+---
+
+## Intended Use
+
+* **Chatbots & voice assistants** for Emirati Arabic.
+* **Language learning tools** for practicing dialect.
+* **Dataset building block** for Gulf Arabic LLM research.
+
+---
+
+## Limitations
+
+* May mix in some MSA or generic Arabic in rare cases.
+* Not suitable for factual QA outside daily conversations.
+* Not designed for professional/legal/medical contexts.
+
+---
+
+## Acknowledgements
+
+* **Unsloth** team for efficient fine-tuning tooling.
+* **TRL** from Hugging Face for alignment training.
+* Synthetic dataset generation powered by **GPT-5** and **GPT-4o**.
+* **Liquid AI** for innovative open-weight model releases that inspired experimentation.
 
-[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)