Liujgoj-Cantonese-gemma-4-12B-it-cpt

🌟 模型簡介

本模型係基於 Google 嘅 google/gemma-4-12B-it 進行 CPT (Continual Pre-Training) 嘅粵語羅馬字增強版本。

透過 CPT 技術，我哋為模型注入咗 粵語音節知識 同 16 個特殊 XML 標籤，令模型能夠更準確噉理解同生成粵語羅馬字（Jyutping）。

🎯 模型特點

• ✅ 基於 Gemma 4 12B Instruction Tuned：保留優秀嘅對話同指令遵循能力
• ✅ 擴充詞表：新增 5,984 個粵語音節 Token，提升粵語處理效率
• ✅ 16 個特殊標籤：支援結構化數據處理（詞條、場景、音節等）
• ✅ 粵語羅馬字理解：能夠處理同生成 Jyutping 羅馬字
• ✅ 支援多任務：適用於翻譯、解釋、對話生成等任務

🏷️ 特殊標籤列表

標籤	用途
<ipa-lexicon_BLOCK> </ipa-lexicon_BLOCK>	IPA 詞條區塊
<ipa-syllable_BLOCK> </ipa-syllable_BLOCK>	IPA 音節區塊
<lexicon-ipa_BLOCK> </lexicon-ipa_BLOCK>	詞條轉 IPA 區塊
<lexicon-syllable_BLOCK> </lexicon-syllable_BLOCK>	詞條轉音節區塊
<syllable-ipa_BLOCK> </syllable-ipa_BLOCK>	音節轉 IPA 區塊
<syllable-lexicon_BLOCK> </syllable-lexicon_BLOCK>	音節轉詞條區塊
<SCENE> </SCENE>	對話場景區塊
<LEX_BLOCK> </LEX_BLOCK>	詞條解釋區塊

🚀 使用方法

基本載入

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = "Yvthyvq/Liujgoj-Cantonese-gemma-4-12B-it-cpt"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

---

## 🤝 數據集致謝與許可協議 / Dataset Acknowledgements & Licenses

### 中文與社區許可協議
本模型在增量預訓練（CPT）部分使用了 **OpenCSG/Fineweb-Edu-Chinese** 數據集。在此特別感謝 OpenCSG 開源社區提供的優質教育語料。本模型的衍生、分發與使用將嚴格遵循 OpenCSG 模型社區許可協議。

### English & Global Dataset Acknowledgement
Part of the continued pre-training (CPT) data used in this model is derived from the **HuggingFaceFW/fineweb-edu** dataset. We are grateful to the Hugging Face vLLM/FW team for providing this high-quality dataset under the MIT license.

---