Skip to content

data(intent): A/B 임시 consensus와 반영 차단 추가 - #35

Draft
hywznn wants to merge 1 commit into
agent/intent-boundary-review-candidatesfrom
data/intent-consensus-v1-1
Draft

data(intent): A/B 임시 consensus와 반영 차단 추가#35
hywznn wants to merge 1 commit into
agent/intent-boundary-review-candidatesfrom
data/intent-consensus-v1-1

Conversation

@hywznn

@hywznn hywznn commented Jul 27, 2026

Copy link
Copy Markdown
Collaborator

요약

Reviewer B 결과가 아직 없는 상태에서 Reviewer A 판정을 임시 제안으로만 정리하고, 실제 B 확인과 전건 합의 전에는 원본 1,340건 적용을 차단합니다.

  • Reviewer A 기준 provisional consensus 361건 생성
    • ASSUMED_PENDING_B_CONFIRMATION: 335건
    • NEEDS_ADJUDICATION: 26건
  • Reviewer B 필드는 비워 두어 실제 검수 결과로 오해되지 않게 함
  • A/B 비교·재생성 CLI 추가
  • consensus manifest의 출처·checksum·적용 가능 상태 기록
  • B 미제출·불일치·논의 필요 행이 있으면 원본 적용 명령 fail-closed
  • 적용 시에도 원본과 별도인 JSONL 출력 경로를 필수로 요구

사용 흐름

# 현재: A 동의 가정의 임시안 생성
python -m fowoco_knowledge build-intent-consensus --assume-b-agrees

# B 제출 후: 실제 A/B 비교
python -m fowoco_knowledge build-intent-consensus

# 전건 최종 합의 후에만 별도 preview 생성 가능
python -m fowoco_knowledge apply-intent-consensus \
  --output data/intent/hr_intent_dataset.consensus-preview.jsonl

안전 경계

  • source_application.allowed: false
  • 실제 Reviewer B 판정을 임의로 작성하지 않음
  • data/intent/hr_intent_dataset.jsonl과 기존 checksum을 변경하지 않음
  • A의 NEEDS_DISCUSSION 26건은 자동 합의하지 않음
  • 이 consensus는 Gold Test 또는 모델 성능 주장에 사용할 수 없음

검증

  • make check: 21 passed
  • consensus 재생성 전후 CSV/manifest checksum 동일
  • 361개 source ID 중복 0건
  • 외국인등록번호·전화번호·여권번호 패턴 0건
  • 미합의 상태에서 적용 명령 exit 1 및 출력 미생성 확인

의존 관계

Closes #34
Related to #28, #30, #32.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant