Skip to content

data(intent): 모델링 분할과 평가 계약 추가 - #33

Draft
hywznn wants to merge 1 commit into
mainfrom
data/intent-modeling-prep
Draft

data(intent): 모델링 분할과 평가 계약 추가#33
hywznn wants to merge 1 commit into
mainfrom
data/intent-modeling-prep

Conversation

@hywznn

@hywznn hywznn commented Jul 27, 2026

Copy link
Copy Markdown
Collaborator

목적

Intent 규칙 v1.1과 현재 1,340건 후보 데이터를 AI 저장소가 안전하게 소비할 수 있도록 모델 출력·분할·평가 계약을 정의합니다.

Reviewer B가 Reviewer A 결과에 동의한다고 가정해 모델링 준비를 진행하되, 실제 A/B consensus 또는 source SHA-256이 바뀌면 동일한 생성기로 다시 만들 수 있게 구성했습니다.

Refs #32
Depends on #31

변경 내용

  • MVP Intent 모델 책임을 Intent + evidence로 제한
  • 모델 출력 JSON Schema와 exact substring·순서·OUT_OF_SCOPE 검증기 추가
  • Knowledge → AI 인계 계약과 A.X baseline 순서 문서화
  • Gold Test 240건 구성·이중검수·잠금 계획 추가
  • 평가 구조적 Gate, 내부 목표 지표와 오류 taxonomy 추가
  • 고정 seed 20260727의 grouped multi-label 80:20 분할 생성기 추가
    • Train 1,072건
    • Validation 268건
    • 정규화 template group 1,335개
    • 중복 template group 5개는 split 간 분리하지 않음
  • ID 파일, source/output SHA-256, Intent 분포를 provisional manifest에 기록
  • source·consensus 변경 시 checksum 실패와 재생성으로 대응
  • CLI build-intent-splits와 재현성·누수·분포·Schema 테스트 추가

중요한 상태

  • split status: provisional_pending_consensus
  • 현재 source status: recheck_required
  • Reviewer A의 125건 변경 제안은 원본 JSONL에 적용하지 않음
  • Reviewer B와 consensus 완료 후 원본 version·SHA-256 갱신 및 split 재생성 필요
  • 독립 Gold Test는 아직 작성하지 않았으며 성능 주장에 사용할 수 없음

저장소 경계

이 PR에는 A.X API 호출, prompt 실험, BERT 학습, 서버 envelope 구현을 넣지 않습니다. 실제 모델 코드는 fowoco/ai에서 이 계약을 소비합니다.

검증

  • make check
    • Ruff format/check 통과
    • Knowledge validation 통과
    • 21 tests 통과
  • Train/Validation ID 교집합 0
  • 전체 1,340 ID 완전 포함
  • normalized template split 누수 0
  • Intent별 Validation 비율 목표 20% 대비 오차 1%p 이내
  • 개인정보 패턴 검사 통과
  • git diff --check 통과

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant