어제 이 블로그에 Jev 소개 글을 쓰면서 마지막에 이렇게 적었다. 중립 제3자 헤드투헤드가 아직 없다. 그 문장은 이제 틀렸다. 출시 사흘 만에 방법론을 공개한 외부 측정이 두 건 나왔고, 결과는 랜딩 페이지의 숫자와 다른 방향을 가리킨다.

그리고 같은 주에 한국어 교재가 하나 올라왔다. 하필 그 책이 다루는 게 정확히 이 문제다 — 벤더가 준 숫자를 어떻게 믿지 않을 것인가.

Jev 따라하기 (LLM과 다른 의사결정 AI 시작하기) — 이창근, WikiDocs. 예제 코드는 ady95/jev_tutorial.

이 글은 그 책을 소개하는 김에, 어제 글에서 한 줄로 넘어갔던 부분 하나를 파고든다. 확률을 돌려받았으면 그 다음에 뭘 해야 하는가.

책이 특이한 지점 — 페이지마다 증거 등급이 붙어 있다

기술 문서에서 잘 안 보는 장치가 하나 있다. 이 책은 각 페이지에 [검증] 과 [참고] 를 달아둔다. [검증] 은 직접 실행해서 확인한 것, [참고] 는 공식 문서를 교차 확인했지만 재보지는 않은 것이다. 12부 + 부록 A–E 구성이고, 마지막까지 벤더 벤치마크 숫자를 그대로 옮겨 적지 않는다. 대신 네 데이터에서 다시 재는 절차를 가르친다.

그게 왜 중요한지는 아래에서 숫자로 보인다. 다만 먼저 짚을 것 — 이 책은 2026년 9월 20일에 마지막으로 편집됐고, 모델 자체가 초기 접근(early access) 단계다. 책이든 이 글이든, 반년 뒤에는 상당 부분이 낡는다. 그 전제로 읽어야 한다.

가장 실용적인 대목은 11부 「기권할 수 있는 시스템」이다(전자책 전용). 기권 신호 7가지를 비교해 5가지가 실패했다는 기록, 오류 0건인 37개 표본이 왜 신뢰도 1.000 을 주지 못하는지, 후보 설명 네 줄을 고쳐서 임계치 0.95 에서 커버리지가 +11.6%p 늘어난 실측이 들어 있다. 마지막 줄이 특히 좋다 — 모델을 안 바꾸고 프롬프트의 문장만 고쳐서 얻은 이득이기 때문이다.

쟁점은 정확도가 아니다

먼저 외부 측정 두 건. 둘 다 저자·표본·방법을 공개했고, 둘 다 단일 측정이며 아직 재현되지 않았다.

Alex Kim 의 측정은 같은 150개 지문에 16개 모델을 돌렸다1. 여기서 Jev 는 정확도 66.0% 로 Claude Haiku 4.5 와 동점이고, 보정오차(ECE)도 0.121 대 0.122 로 사실상 같다. 겉보기엔 구분이 안 되는 두 모델이다. 갈리는 칸은 따로 있다.

모델 p50 지연 ECE “애매함” 비율 서로 다른 확률값 개수
Jev 455ms 0.121 34.7% 56
Claude Haiku 4.5 631ms 0.122 2.7% 11
gpt-5.4-mini 934ms 0.192 6.7% 47

150행에 Haiku 는 서로 다른 확률값을 11개만 뱉었다. 소수점이 몇 자리든 11단계짜리 눈금이라는 뜻이다. Jev 는 56개를 뱉었고 그걸 척도 전체에 펼쳤다. 그래서 “0.35~0.65 사이에 앉은 행” 이 Jev 는 34.7%, Haiku 는 2.7% 다.

이 차이는 정확도 차이가 아니라 에스컬레이션 규칙이 몇 번 발화하느냐의 차이다. 애매한 행이 사라진 게 아니다. Haiku 는 그 행들을 높은 확신으로 답해서 그대로 통과시키고, 당신은 그걸 영영 못 본다.

같은 측정에서 보정만 놓고 보면 Claude Sonnet 5 가 이겼다 (ECE 0.062, 정확도 71.3%). TypeSafe 의 피치가 통째로 올라앉은 바로 그 지표에서 범용 프런티어 모델이 이긴 것이다. 다만 1,674ms 가 걸렸다. 게이트는 전량에 돌릴 만큼 싸야 의미가 있으므로, 2초짜리 모델 앞에 붙는 1.7초짜리 게이트는 게이트가 아니라 세금이다. 비교가 성립하는 곳은 1초 미만 구간뿐이고, 그 안에서는 Jev 가 가장 빠르고 가장 잘 보정돼 있었다.

Arize 의 Laurie Voss 는 같은 주에 다른 각도를 짚었다2. 잃는 것은 설명이다. System One 모델은 근거 문장을 만들지 않는다. 라벨과 확률만 온다. 그래서 그가 제안한 구조가 현실적이다 — 전 트래픽에 결정 모델을 돌려 커버리지를 확보하고, 실패와 애매한 행만 표본으로 떠서 LLM 판정자에게 넘겨 설명을 받는다.

그래서 게이트를 어떻게 설계하나

공식 문서가 권하는 건 세 구간이다3. 높으면 자동 처리, 중간이면 확인·보류·정보 수집, 낮으면 사람에게 넘긴다. 여기서 실수하기 쉬운 지점이 셋 있다.

첫째, confidence 는 확률이 아니다. 반환된 probabilities 분포를 0–1 하나로 접은 통계량이다. 분포가 평평할수록 낮아진다. 그래서 “정답일 확률 0.78” 로 읽으면 안 되고, “이 분포가 얼마나 한쪽으로 몰렸는가” 로 읽어야 한다.

둘째, Noul 에는 confidence 가 없다. 세 원시형(Choice / Score / Noul) 중 Noul 은 “이게 참인가” 에 0–1 확률 하나만 돌려준다. 그 확률 자체가 답이라 따로 접을 분포가 없다. Choice·Score 에만 confidence 가 붙는다. 게이트 코드를 세 원시형에 공통으로 짜다가 여기서 걸린다.

셋째, 임계치는 벤더가 못 정해준다. 문서의 3구간 예시는 예시고, “네 데이터로 테스트하고 조정하라” 로 끝난다. 실제로 손익이 정해지는 건 임계치와 커버리지의 교환비다 — 임계치를 올리면 통과한 건의 정확도는 오르고 사람이 볼 양이 늘어난다. 이 곡선을 그려보지 않고 0.9 같은 숫자를 박는 게 가장 흔한 실수다.

이 곡선을 그리는 데 필요한 지표가 보정오차(ECE) 다. 확신도를 $B$ 개 구간으로 나눴을 때

\[\mathrm{ECE} \;=\; \sum_{b=1}^{B} \frac{n_b}{N}\,\bigl|\,\mathrm{acc}(b) - \mathrm{conf}(b)\,\bigr|\]

$\mathrm{acc}(b)$ 는 그 구간에서 실제로 맞은 비율, $\mathrm{conf}(b)$ 는 모델이 주장한 평균 확신도다. 둘이 같으면 0 이다. 정확도와 달리 이 값이 낮아야 임계치를 믿고 자동화할 수 있다. 정확도는 몇 건 틀릴지를 말해주지만 어디서 틀릴지는 말해주지 않는다.

오류 0건인데 왜 신뢰도가 1.000 이 아닌가

책 11부의 질문이 여기 걸린다. 37건을 돌려 하나도 안 틀렸다. 그럼 신뢰도 100% 인가? 아니다. 무오류 표본 $n$ 건에서 참 오류율의 상한은 잘 알려진 근사가 있다 — 3의 법칙이다4.

\[p_{\text{upper}} \approx \frac{3}{n}, \qquad p_{\text{lower}} \approx 1 - \frac{3}{n}\]

$n = 37$ 을 넣으면 $1 - 3/37 \approx 0.919$. 책이 말하는 91.9% 가 정확히 이 숫자다. 즉 37전 37승은 “92% 이상” 을 말해줄 뿐이고, 99% 를 주장하려면 대략 300건이 필요하다. 이 비대칭이 평가 설계 전체를 지배한다. 표본을 채우는 일은 임계치를 잘 고르려는 게 아니라, 이미 틀렸다는 사실이 드러날 자리를 만드는 일에 가깝다.

걸러 읽을 것

출처 등급을 섞지 않는 게 이 주제에서 특히 중요하다.

  • 1차·공식으로 확정된 것 — 모델 jev-1.13.0, 엔드포인트 POST /v1/systemone, 입력 $0.042/MTok 이고 출력 토큰 무료, 컨텍스트 64k(state + 가장 긴 질문 합계 32k), 텍스트 전용, Choice 선택지 최대 255개, 고객별 파인튜닝 없음. 이건 문서에 적힌 사실이다56.
  • 벤더 자체 측정(재현 안 됨) — “193.6배 빠르고 444.6배 싸다” 는 TypeSafe 자사 워크플로 4종 기준이다. TypeSafe 스스로 ⓐ 그 워크플로를 자사 모델 역량 팀이 만들었고 ⓑ 정답 라벨이 사람이 아니라 GPT-6 Astra 와 Claude Fable 5.1 응답의 평균이며 ⓒ 결과가 “실제 이득의 상단” 이라고 밝힌다6. 즉 저 배수는 가장 크게 나오는 상대를 골랐을 때의 값이다.
  • “환각하지 않는다” 는 모양에 대한 보장이다. 스키마 밖 값이 안 나온다는 뜻이고, 스키마 안에서 틀린 답은 여전히 나온다. 타입 오류 0% 라는 숫자도 벤더 스스로 “경험적 측정치가 아니다” 라고 각주를 달았다6.
  • 중립 제3자 — 위 두 측정이 지금 시점의 전부다. 둘 다 저자 1인, 표본 수백 건, 미재현이다. 인용한 표는 하나의 관측이지 벤치마크 합의가 아니다.

정리하면, 어떤 숫자도 — 벤더 것 포함해서 — Jev 가 프런티어 모델보다 정확하다고 말하지 않는다. 말하는 건 다른 것이다. 중급 모델 수준의 판단을, 전 트래픽에 돌려도 될 만큼 싸고 빠르게, 그리고 모르면 모른다고 말하면서. 그 마지막 조항이 코드에서 값을 만든다. 그리고 그게 사실인지는 당신 데이터에서 재야 안다 — 책이 가르치는 게 정확히 그 절차다.

References

  1. TypeSafe AI. Introducing System One models and Jev. 2026-09-15. https://typesafe.ai/blog/introducing-system-one-models-and-jev
  2. TypeSafe AI. Confidence · Primitives · Models. https://docs.typesafe.ai/confidence, https://docs.typesafe.ai/models
  3. 이창근. Jev 따라하기 (LLM과 다른 의사결정 AI 시작하기). WikiDocs, 최종 편집 2026-09-20. https://wikidocs.net/book/21376
  4. ady95. jev_tutorial (예제 코드). https://github.com/ady95/jev_tutorial
  5. Alex Kim. Jev is the only sub-second model that will tell you it doesn’t know. WotAI, 2026-09-18. https://wotai.co/blog/typesafe-jev-vs-claude-haiku-tested
  6. Laurie Voss. TypeSafe’s Jev: Can decision models replace LLM judges? Arize AI, 2026-09-18. https://arize.com/blog/typesafe-jev-llm-judge/
  7. Hanley JA, Lippman-Hand A. If nothing goes wrong, is everything all right? Interpreting zero numerators. JAMA. 1983;249(13):1743–1745. https://doi.org/10.1001/jama.1983.03330370053031

  1. Alex Kim, WotAI, 2026-09-18. 16개 모델 × 150행, 총 2,400회 호출. 저자 1인의 단일 측정이며 재현되지 않았다. ↩

  2. Laurie Voss, Arize AI, 2026-09-18. Arize 는 자체 벤치마크를 아직 돌리지 않았다고 글에서 밝힌다. ↩

  3. TypeSafe AI 문서 Confidence — confidence 의 정의(확률 분포를 접은 통계량)와 3구간 사용 권고. ↩

  4. Hanley & Lippman-Hand (1983). 무오류 $n$ 건에서 95% 신뢰상한 $\approx 3/n$ 근사. 정확한 값은 Clopper–Pearson 상한 $1-\alpha^{1/n}$ 이다. ↩

  5. TypeSafe AI 문서 Models — jev-1.13.0, 엔드포인트, 요율 한도, 컨텍스트 예산. ↩

  6. TypeSafe AI, Introducing System One models and Jev, 2026-09-15 — 가격·지연 범위와 “Nuance” 절의 자체 편향 고지. ↩ ↩2 ↩3