nowdoor/Qwen3.8-27B-Inspect-v01

Qwen3.8 27b inspect v01

Qwen/Qwen3.8-27B의 언어 모델 전체 파라미터를 한국어 시설물 안전점검·정밀안전진단 보고서 의미 검토 작업에 지도 미세조정한 모델입니다. 비전 인코더와 보조 MTP 텐서는 원본 모델에서 보존한 뒤 최종 VLM 체크포인트에 병합했습니다.

이 저장소에는 병합된 전체 모델 가중치, 토크나이저·프로세서 설정, 라이선스와 모델 카드만 포함됩니다. 학습·평가 데이터와 실행 로그는 포함하지 않으며, 모델 카드에 학습 설정과 독립 평가 결과의 집계만 요약했습니다.

Intended Use

• 시설물 보고서의 지침 준수 여부에 대한 보조 검토
• 근거 조항, 적용조건, 보고서 인용, 부족한 점과 보완방법을 포함한 JSON 생성
• 검토 초안 작성과 품질관리 지원

시설물 안전등급 결정, 법적 적합성 판단 또는 현장 기술자의 최종 결정을 대체하도록 만든 모델이 아닙니다. 실제 사용 시 자격을 갖춘 기술자가 입력 원문, 적용 지침과 모델 결론을 확인해야 합니다.

Training

항목	값
원본 모델	Qwen/Qwen3.8-27B
방법	언어 모델 전체 파라미터 SFT, assistant-only loss
파라미터 수	27B
학습/내부 평가 사례	1,960 / 40
epoch	1
최대 길이	18,496 tokens
precision	BF16, TF32

학습 자료는 2,000개의 로컬 시설물 검토 레코드로 구성됐으며 개인정보가 비식별화된 보고서 발췌와 합성 사례를 포함합니다. 데이터 원문은 이 저장소에서 배포하지 않습니다. 공개 배포 전에 데이터와 파생 모델에 대한 권리를 별도로 확인해야 합니다.

학습 및 병합 검증 로그는 로컬 검증용으로만 보관하며 이 저장소에는 배포하지 않습니다.

Evaluation

Facility Review

학습 2,000건과 입력·출력·사례 ID의 정확 중복이 없는 독립 합성 테스트 50건을 사용했습니다. 두 모델 모두 동일 프롬프트, greedy decoding, temperature=0, enable_thinking=False로 평가했습니다.

지표	Base	Fine-tuned
6단계 종합판정 정확도	32/50 (64.0%)	36/50 (72.0%)
일반지침 25건	60.0%	64.0%
교량 세부지침 25건	68.0%	80.0%
JSON 파싱 성공	0/50	50/50
필수 필드 스키마 충족	0/50	49/50
조항·페이지·증거 추적성	0/50	49/50

판정 정확도 차이는 +8.0%p지만 paired bootstrap 95% CI가 -8.0~+24.0%p이고 McNemar exact p=0.4545이므로, 이 표본만으로 의미 판정 성능 향상을 확정할 수 없습니다. 구조화 출력은 명확히 개선됐습니다.

Fine-tuned 모델은 정답의 단일 기준을 대부분 2~3개 하위 기준으로 분해하고 자체 기준 ID를 생성했습니다. 따라서 정확히 한 개의 기준과 미리 지정된 ID가 필요한 시스템은 JSON Schema 제약 또는 추가 학습이 필요합니다. 또한 미흡 재현율은 100.0%에서 71.4%, 비적용은 100.0%에서 50.0%로 낮아져 판정을 완화하는 경향이 관찰됐습니다.

AIME 2024+2025

총 60문항을 thinking mode, medium reasoning effort, greedy decoding, 최대 8,192 생성 토큰으로 평가했습니다.

지표	Base	Fine-tuned
추출 답안 정확도	47/60 (78.33%)	46/60 (76.67%)
변화		-1.67%p

McNemar exact p=1.0이며 paired bootstrap 신뢰구간은 0을 포함합니다. 시설물 도메인 미세조정 후 AIME 성능 향상은 확인되지 않았습니다. 생성 미완료를 오답 처리하는 엄격한 민감도 분석에서는 Base 30/60, Fine-tuned 35/60이었습니다.

Usage

평가와 같은 조건에서는 thinking을 비활성화하고 greedy decoding을 사용합니다.

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "nowdoor/Qwen3.8-27B-Inspect-v01"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {
        "role": "system",
        "content": (
            "너는 시설물 안전점검·정밀안전진단 보고서를 일반지침에 따라 "
            "의미 중심으로 검토하는 전문가다. 입력에 없는 사실은 추정하지 않는다."
        ),
    },
    {
        "role": "user",
        "content": "보고서 발췌와 검토 기준을 여기에 입력합니다.",
    },
]
prompt = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
inputs = processor(text=prompt, return_tensors="pt").to(model.device)
with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=2048, do_sample=False)

new_tokens = output[:, inputs["input_ids"].shape[1]:]
print(processor.batch_decode(new_tokens, skip_special_tokens=True)[0])

검증 환경은 Transformers 5.15.0 직접 추론과 vLLM 0.17.1입니다. 모델의 네이티브 최대 문맥은 원본 설정을 유지하지만, 본 미세조정 데이터는 최대 18,496토큰까지만 포함했습니다.

Limitations

• 50건 시설물 평가는 합성 독립 사례이며 실제 전체 보고서에 대한 외부 타당성을 보장하지 않습니다.
• 판단보류 사례는 두 모델 모두 맞히지 못했습니다.
• 엄격한 미흡 또는 비적용 판정을 완화할 수 있습니다.
• 기준 ID와 결과 항목 수가 호출자가 기대하는 계약과 다를 수 있습니다.
• 보고서에 없는 사실이나 과도한 보완 근거를 생성할 가능성이 있으므로 원문 대조가 필요합니다.
• 비전 인코더는 보존됐지만 병합 후 이미지·영상 입력에 대한 별도 도메인 평가는 수행하지 않았습니다.
• AIME에서는 Base보다 1문항 낮았으므로 일반 수학 성능 향상을 기대해서는 안 됩니다.

License

Apache License 2.0. 원본 모델의 라이선스와 사용 조건도 함께 확인하십시오.