Darwin-28B-KOREA

한국어/영어 이중언어 추론에 최적화된 28B 파라미터 모델

VIDRAFT Darwin 시리즈의 PERFECT 부모 페어 머지 1호. 두 부모 모델의 가중치를 per-layer 동적 비율로 결합하여, 부모 어느 한쪽보다도 우수하지 않은 부분 없이 모든 영역에서 동등 이상의 성능을 달성.

부모 모델 (PERFECT Pair)

Role	Model	Strength
Father	FINAL-Bench/Darwin-28B-Opus	영어 추론, 속도, 토큰 절제
Mother	ginigen-ai/Rogue-28B-MIX	한국어 네이티브, 깊은 한국어 reasoning

부모 페어 호환성: hidden=5120, intermediate=17408, layers=64 (완전 일치 PERFECT pair).

머지 방식

• 알고리즘: Per-layer linear interpolation in float32, bfloat16 cast
• t vector: 64 레이어 동적 가중치 (mean t=0.513)
  • Golden Reasoning Layer (L47): t=0.90 (Mother dominant)
  • Output Router (L63): t=0.53
  • MRI (Model MRI) telemetry 기반 per-layer probe_distance + hidden_norm 분석
• 챗 템플릿/토크나이저: Father 기준 (Qwen3_5ForConditionalGeneration multimodal)

평가 결과 (35-sample 3-way bench, max_tokens=5120)

평가 항목	Father	Mother	KOREA (Child)
정확도 (29개 객관식)	96.6%	96.6%	96.6%
진짜 정확도 (gpqa_01 채점오류 반영)	100%	100%	100%
한국어 출력률 (한국어 질문 23개)	91.3%	95.7%	91.3%
영어 thinking	31/35	10/35	31/35
평균 응답 토큰	458	631	521
5120 cap 도달	0/35	2/35	1/35

Win/Loss 분석:

• Father vs Child: 0:0 동률
• Mother vs Child: 0:0 동률
• → 자식이 두 부모와 완전 동급, 어느 한쪽보다 약한 영역 없음

Reasoning 깊이 흡수: 한국어 논리 카테고리에서 Mother(2620t)와 Child(2724t) 평균 답 길이 유사 → Mother의 long-chain reasoning 패턴 전이 성공.

사용 권장

• 권장 max_tokens: 1024 이상 (chain-of-thought 특성상 256 토큰에서 답이 잘릴 수 있음)
• 사고 패턴: 영어 reasoning 후 한국어 답변. 답만 정확하면 OK인 경우 권장.
• 순수 한국어 reasoning 원하면: 부모 Rogue-28B-MIX 단독 사용 추천.

Quick Start

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "VIDraft/Darwin-28B-KOREA",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
tok = AutoTokenizer.from_pretrained("VIDraft/Darwin-28B-KOREA", trust_remote_code=True)

msgs = [{"role": "user", "content": "대한민국 헌법 제10조의 핵심 내용을 한 문장으로 요약."}]
inputs = tok.apply_chat_template(msgs, return_tensors="pt", add_generation_prompt=True).to(model.device)
out = model.generate(inputs, max_new_tokens=1024, do_sample=False, pad_token_id=tok.eos_token_id)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

License

Apache 2.0 (부모 모델 상속).

Citation / Acknowledgment

VIDRAFT Darwin Family — Evolutionary Model Merge Research. Pair: Darwin-28B-Opus × Rogue-28B-MIX → Darwin-28B-KOREA (PERFECT pair, 2026-05-14)

---

Built with the Darwin Factory pipeline. 16 customer orders bridged by single base model.