K-AX Spartan OSS 27B

Korean AX-Specific Language Model by 스파르타AX

스파르타AX · Lead Architect: 권도현 (Dohyeon Kwon)

Overview

K-AX Spartan OSS 27B는 스파르타AX가 Qwen 3.5 아키텍처를 기반으로 한국어에 특화시킨 Open-Weight 모델입니다. 자체 구축한 한국어 말뭉치 중심의 K-AX 데이터셋 및 엔진을 통해 Continual Pre-training 과 도메인 적응 강화학습을 수행하였습니다. 한국어 토크나이저를 약 24.8만 규모로 확장했으며, 자체 다단계 정렬을 적용했습니다. 본 모델은 OSS 에디션으로서, 추론 엔진 호환성을 위해 Qwen 3.5 아키텍처를 채택했으며, K-AX Spartan Adapter 제품군의 베이스 모델로 설계되었습니다

별도로 연구 중인 자체 아키텍처(HGLQA)는 현재 릴리즈에 포함되지 않으며, 검증 후 공개 예정입니다

Highlights

자체 코퍼스 기반 Continual Pre-Training 및 Domain-Adaptive Pre-Training 수행
자체 구성한 다단계 정렬(Multi-Stage Alignment) 파이프라인 적용
K-AX Spartan Adapter 제품군과의 네이티브 호환
한국어 전문 지식, 법률, 문화, 전문직 시험 등 한국 고유 도메인 최적화
vLLM, SGLang, TensorRT-LLM 등 주요 추론 엔진 호환

Training

본 모델은 다음의 학습 파이프라인을 거쳐 제작되었습니다.

Stage	Description
Pre-Training	자체 구축 다국어 코퍼스 기반 Continual Pre-Training
Domain Adaptation	한국어 법률, 전문직 시험, 문화, 과학 등 도메인별 적응
Alignment	자체 보상 모델 및 정렬 방법 적용 (상세 비공개)
Specialization	어댑터 호환 구조 최적화 및 챗 템플릿 적용

정렬 단계의 보상 모델 및 메소드는 스파르타AX의 자체적인 연구 결과물이며, 정렬 방법은 내부 연구 결과물로, 추후 공개를 검토 중입니다.

K-AX Spartan Adapter

K-AX Spartan은 HGLQA 및 Gemma, Qwen, Llama 등 주요 파운데이션 모델(Baseline) 위에 도메인 전문 어댑터를 저비용으로 구축할 수 있는 어댑터 네이티브 구조를 채택하고 있습니다.

          K-AX Spartan (or Baseline Foundation)
                    │
        ┌───────────┼───────────┐
        ▼           ▼           ▼
    Legal       Medical     Finance      ← K-AX Spartan Adapters
    Adapter     Adapter     Adapter

어댑터 기반 도메인 피팅 기술(K-AX Spartan Adapters)에 대한 상세 내용은 추후 공개 예정입니다.

도입 문의: 스파르타AX

Quickstart

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "teamsparta-inc/K-AX-Spartan-OSS-27B"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "대한민국 헌법 제1조에 대해 설명해주세요."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=1024)
print(tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True))

vLLM

vllm serve teamsparta-inc/K-AX-Spartan-OSS-27B \
    --trust-remote-code \
    --max-model-len 32768

Specifications


Parameters	27B
Context Window	262,144 tokens
Hidden Dimension	5,120
Layers	64
Vocabulary	248,320 tokens
Precision	bfloat16

K-AX Spartan Series

Model	Description
K-AX Spartan OSS 27B	OSS 모델 (Open-Weight Baseline, Qwen 3.5 based)
K-AX Spartan Super	범용 SWE 에이전트 특화
K-AX Spartan eGov	전자정부프레임워크 특화
K-AX Spartan WhiteHat	보안 특화

도입 문의: 스파르타AX · 소개서

About

스파르타AX 는 팀스파르타의 한국형 AI Transformation에 특화된 AI R&D 및 엔터프라이즈/SMB/공공 AX 솔루션 전문 조직입니다.

Contact: [email protected]

권도현 (Dohyeon Kwon) — AX Architect, AXOps Team@TeamSparta

K-AX Spartan 시리즈 설계 및 R&D 총괄
Contact: [email protected]

Responsible Use

허위 정보 생성, 사기, 불법 활동에 사용하지 마십시오.
생성된 콘텐츠가 AI에 의해 작성되었음을 명시해 주십시오.
대한민국 및 사용 지역의 관련 법규를 준수해 주십시오.

Citation

@misc{kwon2026kaxspartan,
    title  = {K-AX Spartan OSS 27B},
    author = {Dohyeon Kwon},
    year   = {2026},
    url    = {https://huggingface.co/teamsparta-inc/K-AX-Spartan-OSS-27B}
}

License

K-AX Spartan Model License v1.0

용도
학술 연구 · 개인 학습 · 벤치마크 평가	허용
파생 모델 (비상업)	허용 (모델명에 "K-AX Spartan" 포함)
상업적 사용	별도 라이센스 필요

자세한 내용은 LICENSE 파일을 참조하세요.

Downloads last month: 94

Safetensors

Model size

27B params

Tensor type

BF16