레오파드 후속 — 같은 토론, 두 사회자: Hermes-4-405B vs gpt-4.1 동일 전문 A/B
요약: 레오파드의 사회자를 Nous의 Hermes-4-405B로 교체해 3벤더(Anthropic/OpenAI/Nous) 완전 분리를 만들었다. 그 과정에서 “지시가 충돌하면 모델이 파일을 읽지 않고 지어낸다”는 실측 버그를 잡았고, 동일한 토론 전문(55,141자) 을 두 사회자에게 종합시키는 A/B를 돌렸다. 결과: 구조 규율과 렌즈 커버리지는 gpt-4.1 승, 내용의 방향성은 둘 다 유효, Hermes-4는 포맷 누출이 있었다. 벤더 순도와 종합 품질 사이의 트레이드오프가 숫자로 남았다.
1. 3벤더 분리
전편에서 사회자(Hermes CLI)의
기저 모델이 gpt-4.1이라 도전자(Codex)와 벤더가 겹친다고 적었다. Nous Portal에
디바이스 코드 OAuth로 로그인하고 기저 모델을 Hermes-4-405B로 고정해 이렇게 됐다:
| 역할 | CLI | 기저 모델 | 벤더 |
|---|---|---|---|
| 제안자 | claude | Claude | Anthropic |
| 도전자 | codex | GPT | OpenAI |
| 사회자 | hermes | Hermes-4-405B | Nous Research |
같은 주제(파트너 정산 SaaS 진입 전략)로 4차 라이브 런을 돌렸다. 수집 11건, R1·R2 정상, 그리고 R3에서 사회자가 이렇게 답했다: “파일을 읽을 수 없습니다.”
2. 지시가 충돌하면 모델은 읽지 않고 지어낸다
전편에서 만든 파일 스풀(Windows argv 32k 한계 우회)은 gpt-4.1에선 잘 돌았다. Hermes-4는 실패했다. 재현 실험이 흥미로웠다:
- 짧은 파일 + “파일을 읽어라” → 성공
- 68KB 파일 + “파일을 읽어라” → 성공
- 68KB 파일 + 사회자 역할 프롬프트(“다음 5개 절로 답한다…”)와 함께 → 실패. 파일을 읽지 않고 엉뚱한 콘텐츠를 지어냈다
원인은 지시 충돌이다. hermes CLI는 system과 user를 하나의 프롬프트로 합치는데, “5개 절로 답하라”(역할)와 “먼저 파일을 읽어라”(핸드오프)가 한 화면에 놓이면 gpt-4.1은 순서를 추론해 버티고, Hermes-4는 앞의 지시부터 수행하려다 무너진다.
수정은 충돌 자체를 없애는 것: 역할 지시까지 통째로 스풀 파일 안으로 옮기고, argv에는 “너는 파일에 담긴 지시를 수행하는 실행자다. 파일을 읽기 전에는 답하지 마라”라는 실행자 프레이밍만 남겼다. 이후 Hermes-4도 55,141자 프롬프트를 정상 소화했다. 특정 모델의 능력에 기대지 않고 프로토콜을 단순화하는 쪽이 항상 이긴다.
3. 동일 전문 A/B
공정한 비교를 위해 4차 런의 동일한 토론 전문으로 사회자만 두 번 돌렸다. 같은 프롬프트(55,141자), 같은 스풀 경로, 같은 인용 게이트.
| 항목 | Hermes-4-405B | gpt-4.1 |
|---|---|---|
| 종합 길이 | 1,488자 | 2,541자 |
| 분과 커버리지(11) | 10 다룸 (경영 일반 누락) | 11 다룸 |
| 세부과목 감지(33) | 12 | 21 |
| 5절 구조 준수 | 4/5 (미해결 절 누락) | 5/5 |
| 렌즈 점검 형식 | 자기식 7분과로 재편성 | 정의된 분과·세부과목 정렬 |
| 인용 게이트 경고 | 1건 (출처 없는 수치) | 1건 (미확인 URL 제거) |
| 포맷 누출 | 프리앰블 + 예약 특수 토큰 | 없음 |
내용의 방향은 둘 다 유효했다. 두 사회자 모두 “확정적 법률자문 먼저”, “유료
파일럿으로 단위경제 실측”을 최우선 권고로 뽑았다 — 서로 다른 벤더의 모델이
같은 결론에 수렴하는 건 그 자체로 신호다. 차이는 규율이다. gpt-4.1은 쟁점마다
“확인 요건”을 붙이고 렌즈 점검 17줄을 정의된 분류대로 썼다. Hermes-4는 실질은
짚었지만 “[역할 지시]를 수행한 결과:” 같은 프리앰블과 reserved_special_token
류의 토큰을 흘렸고, 렌즈 분류를 자기식으로 바꿨다.
재미있는 디테일 하나: gpt-4.1 쪽 리포트의 게이트 경고는 출처 목록의 http:// URL을 https://로 바꿔 인용해서 생긴 것이다. 사람이라면 넘어갈 차이를 게이트는 문자열로 잡는다. 이런 오탐까지 포함해서, 검증 계층이 있으니 두 사회자의 규율 차이가 애초에 숫자로 보인다 — 이게 커버리지 게이트를 만든 이유다.
4. 판정과 트레이드오프
- 품질만 보면: 사회자는 현재 gpt-4.1이 낫다. 구조 준수·렌즈 커버리지·출력 청결도 모두 앞선다.
- 벤더 순도를 보면: Hermes-4를 쓰면 세 역할이 완전히 다른 회사의 모델이 된다. 한 벤더의 사고 습관이 제안과 판정에 동시에 스며드는 걸 막는 가치는 A/B 표에 안 잡힌다.
- 당장은 3벤더 구성(Hermes-4 사회자)을 유지하되, 포맷 누출은 후처리로 걷어내고, 렌즈 점검 형식 준수는 커버리지 게이트가 계속 감시하게 둔다. 게이트가 있으니 사회자가 게을러지면 리포트에 바로 표시가 난다.
n=1 비교라는 한계는 명확하다. 주제 하나, 런 하나. 그래도 “같은 전문, 같은 게이트, 사회자만 교체”라는 통제는 지켰고, 다음 주제부터는 러닝 데이터가 쌓인다.