Instructions to use mecatoncheir/KokoroGemma-1B-it with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- MLX
How to use mecatoncheir/KokoroGemma-1B-it with MLX:
# Download the model from the Hub pip install huggingface_hub[hf_xet] huggingface-cli download --local-dir KokoroGemma-1B-it mecatoncheir/KokoroGemma-1B-it
- LiteRT
How to use mecatoncheir/KokoroGemma-1B-it with LiteRT:
# No code snippets available yet for this library. # To use this model, check the repository files and the library's documentation. # Want to help? PRs adding snippets are welcome at: # https://github.com/huggingface/huggingface.js
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use mecatoncheir/KokoroGemma-1B-it with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf mecatoncheir/KokoroGemma-1B-it # Run inference directly in the terminal: llama cli -hf mecatoncheir/KokoroGemma-1B-it
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf mecatoncheir/KokoroGemma-1B-it # Run inference directly in the terminal: llama cli -hf mecatoncheir/KokoroGemma-1B-it
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf mecatoncheir/KokoroGemma-1B-it # Run inference directly in the terminal: ./llama-cli -hf mecatoncheir/KokoroGemma-1B-it
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf mecatoncheir/KokoroGemma-1B-it # Run inference directly in the terminal: ./build/bin/llama-cli -hf mecatoncheir/KokoroGemma-1B-it
Use Docker
docker model run hf.co/mecatoncheir/KokoroGemma-1B-it
- LM Studio
- Jan
- Ollama
How to use mecatoncheir/KokoroGemma-1B-it with Ollama:
ollama run hf.co/mecatoncheir/KokoroGemma-1B-it
- Unsloth Studio
How to use mecatoncheir/KokoroGemma-1B-it with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for mecatoncheir/KokoroGemma-1B-it to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for mecatoncheir/KokoroGemma-1B-it to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for mecatoncheir/KokoroGemma-1B-it to start chatting
- Atomic Chat new
- Docker Model Runner
How to use mecatoncheir/KokoroGemma-1B-it with Docker Model Runner:
docker model run hf.co/mecatoncheir/KokoroGemma-1B-it
- Lemonade
How to use mecatoncheir/KokoroGemma-1B-it with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull mecatoncheir/KokoroGemma-1B-it
Run and chat with the model
lemonade run user.KokoroGemma-1B-it-{{QUANT_TAG}}List all available models
lemonade list
KokoroGemma (看護・介護エッジAI)
KokoroGemma(ココロジェンマ)は、看護・介護現場に特化したエッジAIモデルです。音声認識結果・看護記録・PDF解析などの現場テキストから、必要なアセスメント値や重要情報を正確かつ安全に抽出します。
モデルの特長
- エッジ特化型: オフライン環境・非力な端末でも高速・安全に稼働するように設計されています。患者の機密情報(バイタルサインや記録)を外部クラウドに送信することなく、オンデバイス(端末内)で完結した推論が可能です。
- サンドイッチアーキテクチャ: AIに複雑なJSON生成やバリデーションを丸投げせず、「前処理(ルール・辞書) → AI推論 → 後処理(バリデーション・JSON変換)」の強固な連携により、ハルシネーションを防ぎ、実用レベルの安定性を実現します。
- 現場文脈への適応: 音声認識特有の誤認識(同音異義語)、方言、省略語などのノイズを前提とし、看護記録特有の表現を汲み取ります。
提供ファイル
本リポジトリには、以下の2種類のモデル形式が含まれています。
1. kokorogemma3-1b-it-int4.litertlm (LiteRT/TFLite 形式)
- 推奨用途: モバイルアプリ(iOS/Android - Flutterなど)への組み込み用。
- サイズ: 約 979 MB
- 量子化: INT4 (Gemma 3 1B ベース)
- 使い方:
flutter_gemmaパッケージ等を利用して、オンデバイスで高速推論を行う際に最適です。
2. kokorogemma-1b-it.gguf (GGUF 形式)
- 推奨用途: PCローカル環境、サーバーサイドでの検証・テスト用。
- サイズ: 約 1.9 GB
- 使い方:
llama.cppなど各種GGUF対応推論エンジンでご利用いただけます。
セキュリティに関する注意事項
本モデルを組み込んだアプリケーションを開発する際は、必ず患者の機密情報(氏名・ID・生年月日等)をAIのプロンプトに入力する前に、エッジ側でマスキング・匿名化処理を行う仕組み(サンドイッチ構造の前処理)を実装してください。
開発元
本モデルは、医療・介護向けエッジAIシステム「NSVo」等の開発において、現場の専門職とAIエンジニアの協働により生み出されました。 「看護・介護の現場に、小さく確かな知性を。」という設計思想のもと、実業務での堅牢性を最優先に設計されています。
- Downloads last month
- 250
We're not able to determine the quantization variants.