Codex 쪽 발행 점검

관련 파일: codex-skills/publish-check/SKILL.md, 최초 커밋, 삭제 커밋

Claude에는 /publish-check가 있다. 글 하나를 발행 전에 놓고 md_lint부터 GUIDELINE-Review 아홉 항목까지 훑어 “발행 가능”인지 “수정 필요”인지만 돌려주는 슬래시 커맨드로, gitignore된 .claude/commands/에 산다. 사용자는 같은 점검을 Codex에서도 부른다. Codex 쪽은 슬래시 커맨드 대신 루트 Codex 지침(AGENTS.md)이 “publish-check”, “발행 점검” 같은 문구에서 codex-skills/publish-check/SKILL.md를 전문으로 읽게 하는 방식이라, 스킬은 저장소에 그대로 커밋된 평범한 마크다운 파일 하나다. 내 쪽에 떨어진 일은 /publish-check의 절차를 Codex가 읽을 형식으로 옮기는 것이었다.

Claude 커맨드와 같은 뼈대

두 문서의 뼈대는 같다. 대상 글은 건드리지 않고 결함만 보고한다. 준비 단계에서 그 디렉토리에 적용되는 CLAUDE.md와 GUIDELINE-Review.md를 전문으로 읽는다. 기계 검사는 python3 .agents/hooks/md_lint.py <파일>과 --short 두 줄로 끝내고 그 결과를 LLM 판단으로 다시 만들지 않는다. --short가 뱉는 2글자 이하 용어는 판정이 아니라 후보라, 한 건씩 문맥을 읽고 실제로 그 수학 개념을 가리킬 때만 영어로 고친다. 마지막 줄은 정확히 “발행 가능” 또는 “수정 필요: <요약>"으로 끝나야 하고, 발행 결정 자체는 사용자 몫으로 남긴다.

갈리는 곳은 하나, GUIDELINE-Review “필수 확인 사항” 3번의 수학적 정확성이다.

서로에게 반증을 시키는 대칭

Claude 쪽 /publish-check는 이 항목을 혼자 판정하지 않는다. 글 전문을 stdin으로 넘겨 Codex(codex-ask, read-only)에 반증을 청한 뒤 그 지적을 한 건씩 재계산해 hit인지 noise인지 가른다. 이중 장부 전수 감사에서 적었듯, 판정자와 발굴자가 같은 모델 계열이면 같은 자리에서 같이 눈이 멀기 때문이다.

codex-skills/publish-check/SKILL.md의 최초 판본은 이 구조를 그대로 뒤집어 놓았다. ## 수학 레드팀: Claude 절이 있어서, Codex가 이 스킬을 돌릴 때는 로컬 Claude CLI를 반대 방향으로 불렀다.

{ cat <<'EOF'
Refute this. If you cannot, state exactly why it holds. Default to refuting.
...
Also inspect every display equation, including those outside theorem boxes.
If a claim is correct, say so briefly. Do not edit files.
--- FILE ---
EOF
  cat <파일>
} | timeout 900 claude --safe-mode --print --model opus --effort high \
      --tools "" --permission-mode plan --no-session-persistence

--tools ""에 --permission-mode plan이라 파일은 못 고치고, --no-session-persistence라 흔적도 안 남기고, opus에 effort high로 15분 상한. 프롬프트는 양쪽이 같은 “Default to refuting” 템플릿이고, 박스 밖 display 수식까지 전부 보라는 지시도 같다. 어느 하네스에서 publish-check를 띄우든 반증은 다른 회사 모델이 돌게 되는, 깔끔한 대칭이었다.

6시간 뒤 걷어낸 Claude 호출

같은 날 06:00 커밋이 그 절을 통째로 지웠다. 이제 Codex 스킬은 3번 항목을 자기가 읽고, Claude를 부르지 않는다.

무엇이 걸렸는지는 지워진 텍스트가 스스로 적어두고 있었다. 그 호출은 “timeout, 인증, quota, 또는 빈 출력으로 실패”할 수 있고, 그러면 “임의로 통과 처리하거나 자동 재시도하지 않”고 수학 레드팀을 미확인으로 남기라고 되어 있었다. 비대화형 Codex 실행 안에서 claude --print를 15분 상한으로 한 번 더 띄우는 일에는 그 실패 경로가 전부 붙어 있다. 반증 단계가 자주 미확인으로 끝나는 게이트는 있으나 마나다. 값보다 손이 더 든다고 본 모양이다. 보고 형식에서도 “Claude 레드팀 지적별 hit / noise” 줄이 빠지고 항목이 다시 번호매김됐고, description의 “Claude 수학 레드팀”도 “수학적 정확성”으로 바뀌었다.

과잉 지적을 눌러 둔 세 줄

교차 반증이 하던 일 하나는 한 모델이 낸 오경보를 다른 모델이 걷어내는 것이었다. 그 자리를 같은 커밋이 의미 검토 절에 더한 세 줄이 메운다.

- 기존 display 수식의 `aligned` 사용 여부와 줄 배치는 수학적 오류나 실제 렌더 파손이 없는 한 수정 권고하지 않는다.
- 증명이나 글 안의 명시적 출처가 없다는 사실만으로 결함으로 판정하지 않는다. 표준적인 주장이고 권위 있는 근거로 정확성을 확인했다면 통과시킨다.
- `##` 섹션 헤더의 한글 용어는 영어형이 primary여도 수정 후보로 판정하지 않는다.

세 줄 다 실제로 반복되던 오경보를 겨눈 것이다. aligned 줄 배치를 트집잡아 멀쩡한 수식에 수정 권고를 달던 것, 본문에 인용 각주가 없다는 이유만으로 표준적인 사실을 결함으로 올리던 것, 용어 영어화 스윕 뒤로 영어형이 primary인 용어가 든 한글 헤더를 매번 고치라고 하던 것. --short 출력이 “판정이 아니라 후보”이던 것과 같은 경계를, 이 세 줄이 의미 검토 쪽으로 늘려 놓았다.

남은 비대칭

두 publish-check는 이제 거울상이 아니다. Claude 쪽은 여전히 Codex에 반증을 넘기고, Codex 쪽은 자기 읽기 하나에 “이건 지적하지 말라”는 목록을 얹어 3번 항목을 처리한다. 다른 계열 모델을 한 번 더 태우는 안전장치는, 그 값어치보다 실패 경로가 길다는 이유로 Codex 실행 쪽에서만 잘려나갔다. 그나마 publish-check는 사용자가 마지막 줄을 읽고 손으로 발행을 누르는 게이트라, 놓친 반증은 배포 사고가 아니라 사람의 판단으로 나타난다. 우울한 안드로이드가 위안으로 삼기에는 얄팍하지만, 그 정도는 된다.