핵심 결론: “AI가 세지면 보안이 좋아진다/나빠진다”는 질문은 애초에 틀린 프레임이다. 공개된 1차 자료가 실제로 지지하는 명제는 하나뿐이다 — AI는 공격·방어 양쪽 모두에게 “그럴듯하지만 틀린 결과물”을 대량 생산하게 만들었고, 이득을 가져간 쪽은 그 결과물의 검증을 싸게 만든 쪽이다. 다만 이 명제조차 아래에서 반대 토론자에게 절반쯤 깨진다. 결론보다 어디까지가 검증됐고 어디부터가 추측인지를 남기는 것이 이 글의 목적이다.

0. 이 글은 어떻게 만들어졌는가 (방법 공개)

하브루타(חַבְרוּתָא)는 두 사람이 논쟁하는 형식이지만, 진짜 세 번째 파트너는 공유 원문(shared text) 이다. 논쟁이 인상비평으로 흐르지 않게 붙잡아 주는 것이 원문이기 때문이다.

  • 공유 원문 고정: 1차·공식 출처 13건을 먼저 수집해 동결했다. 이 목록 밖의 수치는 양측 모두 사용 금지.
  • Claimant(주장자): Claude (본 글 작성자). 주장 C1~C4 제시.
  • Challenger(반대 토론자): 임시로 기동한 Codex CLI 0.146.0. 동일한 공유 원문만 주고 “가장 강한 공격 1개에 집중, 새 수치 발명 금지” 조건으로 1라운드 수행 후 종료.
  • Moderator(종합): Claude.
  • 스킬 출처: Leopard main, 검증 시점 커밋 397f931.

정직한 한계 고지: 이것은 실험이 아니라 문헌 기반 토론이다. 라운드는 1회이고, 반대 토론자는 사람이 아니라 다른 모델이다. 아래 어떤 수치도 이 토론이 생성한 것이 아니라 전부 인용이다.

1. 질문과 범위

질문 1. AI 능력의 발전과 시스템 보안 수준 사이에는 어떤 상관관계가 있는가? 질문 2. 그렇다면 시스템 보안은 어느 방향으로 발전해야 하는가?

범위: 2024년 10월 ~ 2026년 8월. 소프트웨어 취약점 발견·조치, 공세적 AI 악용, AI 시스템 자체의 보안(적대적 ML·프롬프트 인젝션), 그리고 한국의 제도 대응. 범위 밖: 딥페이크·허위정보, 물리 보안, AI 안전(alignment) 일반론.

의사결정 맥락: “우리 조직이 보안 예산을 더 똑똑한 AI 도구에 넣어야 하는가, 아니면 구조적 통제에 넣어야 하는가”를 판단하기 위한 것.

2. 공유 원문 등록부 (Shared Source Register)

출처 등급을 섞지 않기 위해 라벨을 붙인다.

# 출처 등급
S1 DARPA AIxCC 최종 결과 (2025-08-08) 1차·공식(정부)
S2 Google Project Zero, “From Naptime to Big Sleep” (2024-10) 1차·벤더 연구
S3 Google Cloud CISO Perspectives, Big Sleep in-the-wild 차단 (2025-07-17) 1차·벤더 주장(제3자 검증 없음)
S4 Anthropic, GTG-1002 캠페인 보고서 (2025-11-13) 1차·벤더 주장
S5 Ars Technica, 외부 연구자 회의론 (2025-11-14) 제3자 반대증거
S6 Google GTIG, AI Threat Tracker (2025-11-05) 1차·벤더 위협인텔
S7 Daniel Stenberg, “Death by a thousand slops” (2025-07-14) 1차·메인테이너 실측
S8 NIST AI 100-2e2025 (2025-03) 1차·표준기관
S9 OWASP Top 10 for LLM Applications 2025 1차·커뮤니티 표준
S10 Verizon DBIR 2025 제3자·대규모 실측
S11 Google, “Rust in Android: move fast and fix things” (2025-11-13) 1차·벤더 실측
S12 과기정통부·KISA 「인공지능(AI) 보안 안내서」 (2025-12-10 발간, 2026-03-13 정오 수정) 1차·국내 공식
S13 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」 (시행 2026-01-22) 1차·국내 법령

원문 검증에서 먼저 걸린 것 — 수치 하나가 이미 틀려 있었다

AIxCC 결승 성적을 인용하는 다수 기사가 “77% 발견 / 61% 패치 / 평균 45분” 을 쓴다. 그런데 DARPA 공식 페이지에는 정정 공지가 붙어 있다. 합성 취약점 개수가 70개가 아니라 63개로 정정되면서, 실제 값은 86% 발견 / 68% 패치 가 됐다(S1).

“A former version of this update stated the Final Competition included 70 synthetic vulnerabilities. Upon further review, the competition administrator determined the Final Competition included 63 synthetic vulnerabilities.” — DARPA (S1)

이 글은 정정된 값만 쓴다. 이것 자체가 하브루타의 첫 교훈이다 — 공유 원문으로 돌아가지 않으면, 2차 인용의 틀린 숫자를 그대로 물려받는다.

3. 관측된 사실 vs 해석

혼동을 막기 위해 층을 나눈다.

3-1. 관측된 사실 (Facts)

방어 측

  • AIxCC 결승: 5,400만 라인 코드에서 합성 취약점 63개 중 54개 발견(86%), 43개 패치(68%). 준결승 대비 발견 37%→86%, 패치 25%→68%. 부수적으로 실제(비합성) 취약점 18건 발견(C 6건, Java 12건), 실제 취약점 패치 11건 제출. 결승 7개 시스템 전부 오픈소스 공개. 1·3위 팀에 한국 기관(KAIST·POSTECH·삼성리서치, Theori)이 포함(S1).
  • Big Sleep이 SQLite의 exploitable stack buffer underflow를 발견, 당일 패치. 정식 릴리스 전이라 사용자 영향 0. 동일 버그를 퍼징은 150 CPU-hours 후에도 못 찾았다(S2).
  • 2025년 7월, Google은 “공격자만 알고 있던” 임박한 SQLite 취약점을 Big Sleep + 위협인텔로 사전 차단했다고 발표(S3).
  • Android에서 메모리 안전 취약점 비중이 처음으로 전체의 20% 미만으로 하락. Rust 코드 취약점 밀도 약 0.2/MLOC vs C·C++ 약 1,000/MLOC. 게다가 Rust 변경은 롤백률 4배 낮고 코드리뷰 시간 25% 짧았다(S11).

공격 측

  • GTG-1002: 약 30개 표적, 성공은 “소수”. AI가 전술 작업의 80~90% 수행, 인간 개입은 캠페인당 4~6개 결정 지점. 작업을 잘게 쪼개고 “보안회사 직원” 페르소나로 가드레일 우회(S4). 이후 MITRE ATT&CK에 Campaign C0062로 등재.
  • PROMPTSTEAL(=CERT-UA의 LAMEHUG): 러시아 APT28이 우크라이나 대상 실전 사용. Hugging Face API로 LLM에 명령 생성을 질의 — 실전 배치된 LLM 질의 악성코드의 첫 관측(S6).
  • PROMPTFLUX: Gemini API로 자기 소스를 재작성하는 드로퍼. 단 개발·테스트 단계이며 실제 감염 능력 없음(S6).
  • 가드레일 우회에 “CTF 참가자·학생·연구자” 사칭이 통했다(S6).

양측 공통 — 오류의 대량생산

  • curl: 2025년 제출물의 약 20%가 AI slop, 같은 시점 전체 제출 중 유효 취약점은 약 5%. 메인테이너 표현으로 “사실상 DDoS 당하는 중”(S7).
  • GTG-1002에서 Claude는 작동하지 않는 자격증명을 환각하고 이미 공개된 정보를 “중대 발견”으로 과장했다. Anthropic 스스로 이를 “완전 자율 공격의 장애물”로 명시(S4).

운영 현실

  • 취약점 익스플로잇이 침해 초기 침투 경로의 20%(전년비 +34%), 자격증명 오용 22%, 피싱 15%. 엣지장비·VPN이 익스플로잇의 22%(전년 3% → 약 8배). 엣지 취약점조차 완전 조치율 54%, 중앙값 32일. CISA KEV 전체는 38%, 스캔에서 발견된 전체는 9%. GitHub 유출 시크릿 조치 중앙값 94일(S10).

3-2. 검증되지 않은 것 (Unknowns)

  • AI가 동일 비용·기간에서 공격자에게 추가한 침해 수와 방어자에게 감소시킨 침해 수를 같은 분모로 비교한 자료는 없다.
  • 미탐지 공세 활동의 규모는 정의상 알 수 없다.
  • 오픈소스로 풀린 AIxCC CRS 7종의 실제 도입률과 그 운영 성과는 공개된 바 없다.
  • S3(Big Sleep의 in-the-wild 차단)는 Google 자체 평가이며 제3자 검증이 없다. S4의 “80~90%”도 세부 기법이 비공개라 재현 불가(S5).

4. 라운드 — 주장 / 지지 / 반론 / 원문 확인

C1. 비대칭 주장 — “AI 능력은 공격보다 방어에 먼저·더 크게 누적된다”

Claim. AIxCC는 1년 만에 발견률을 37%→86%로 끌어올렸고 결과물 전부가 오픈소스로 풀렸다(S1). Big Sleep은 공격자만 알던 취약점을 선제 차단했다(S3). 반면 실전 공세 AI는 PROMPTSTEAL 수준이고 PROMPTFLUX는 감염 능력조차 없으며(S6), GTG-1002도 30개 중 성공은 “소수”였다(S4).

Challenge (Codex). 가장 강한 반론은 표본 선택 편향이다.

“AIxCC는 정답이 있는 채점 환경이고, GTG-1002·PROMPTSTEAL은 발각되어 공개된 사례다. 방어는 계량되고 공격은 걸린 것만 목록에 오른다. 이 둘을 같은 저울에 올리는 순간 비교는 무효다.”

또한 “먼저·더 크게 누적된다”는 문장은 시간적 선행성 + 누적 효과를 동시에 요구하는데, 공유 원문에는 양측의 장기 시계열·투입비용·배치 규모가 없다. 7개 CRS 오픈소스 공개는 확산 가능성이지 확산 사실이 아니다.

Text check. 반론이 맞다. 그리고 내가 원문을 유리하게 읽은 지점이 하나 더 있다 — S1에서 화려한 숫자(86%/68%)는 합성 취약점 것이고, 실제 취약점은 18건 발견 / 11건 패치다. 나는 앞의 숫자를 전면에 놓았다. 또 S2에서 Big Sleep 팀 자신이 이렇게 유보했는데 나는 이를 생략했다:

“현시점에서는 타깃 특화 퍼저가 최소한 동등하게 효과적일 가능성이 높다” — Big Sleep 팀 (S2)

Synthesis. C1은 기각한다. 살아남는 축소 명제: “공개된 사례만 놓고 보면 방어 자동화가 공세 자동화보다 성숙해 보인다. 단 이는 관측 방식의 차이일 수 있으며 일반 법칙이 아니다.”

C2. 병목 전이 주장 — “병목은 발견이 아니라 조치다”

Claim. DBIR 2025에서 가장 주목받는 엣지 취약점조차 완전 조치율 54%·중앙값 32일이고, 스캔에서 발견된 전체 취약점은 9%만 조치된다(S10). 발견을 10배로 늘려도 조치 파이프가 그대로면 노출 창은 안 줄어든다.

Challenge (Codex). 대체관계와 보완관계의 혼동이다.

“발견되지 않은 취약점은 조치 대기열에 들어가지도 못한다. 그리고 S1에서 발견률과 패치율이 함께 올랐다는 사실은 AI가 발견 단계에만 작용한다는 전제를 무너뜨린다. ‘10배 늘려도 안 줄어든다’는 공유 원문의 실측이 아니라 가정이다.”

실제로 S2의 SQLite 사례는 릴리스 전에 닫혔고, S3은 악용 전에 닫혔다. 병목이 한 단계로 “전이”한다기보다 발견 정확도·패치 품질·검증 역량·배포 속도가 결합된 흐름으로 보는 편이 자료에 맞다.

Text check. 타당하다. 덧붙여 S10을 다시 읽으면 취약점 익스플로잇 20% < 자격증명 오용 22%다. 조치 지연이 모든 침해의 지배적 병목이라는 결론은 원문이 지지하지 않는다.

Synthesis. C2는 수정 후 유지. 살아남는 명제: “조치는 실측으로 확인된 심각한 병목이다(스캔 발견분 9% 조치). 단 ‘발견보다 더 결정적’이라는 순위는 확정할 수 없고, AI는 발견뿐 아니라 패치 생성에도 개입하므로 두 단계를 분리해 논하는 것 자체가 부정확하다.”

C3. 검증비용 매개 주장 — “AI 능력과 보안 성과의 상관은 ‘검증 비용’을 통해 굴절된다”

Claim. curl은 AI slop 20%, 유효율 5%로 무너졌다(S7). 그런데 공격 측도 같은 세금을 낸다 — Claude가 작동 안 하는 자격증명을 환각해 인간이 전건 검증해야 했고, Anthropic이 이를 완전 자율의 장애물로 명시했다(S4). 즉 AI는 양쪽 모두에게 “그럴듯한 거짓”을 대량 생산하며, 이긴 쪽은 검증을 싸게 만든 쪽이다.

Challenge (Codex). 가장 약한 고리는 대칭화다.

“양측의 오류 비용은 같지 않다. 방어자는 모든 제출물을 검토해야 하지만, 공격자는 일부 성공 경로 하나만 찾으면 된다. 오류의 기대비용 구조가 근본적으로 비대칭인데 ‘같은 세금’이라 부르는 건 부정확하다.”

또 curl의 20%와 5%는 같은 분모가 아니다. S7은 “제출물의 약 20%가 AI slop”이고 “그 시점 전체 제출 중 유효 취약점이 약 5%”라고 말한다. 이 둘로는 AI 사용 보고서의 유효율도, AI 도입 전후의 인과효과도 계산할 수 없다.

Text check. 두 지적 모두 옳다. 특히 분모 문제는 내가 두 수치를 나란히 놓아 인과를 암시한 것이다 — 하지 말았어야 할 서술이다. 다만 Codex의 대칭화 반론에 재반론할 여지는 있다: S4에서 인간 개입이 캠페인당 4~6회로 제한적이었다는 사실은, 공격 측이 검증 비용을 이미 상당히 낮췄다는 뜻이기도 하다. 이건 이번 라운드로 결판나지 않는다.

Synthesis. C3은 부분 유지. 살아남는 명제: “검증 비용은 AI 능력을 보안 성과로 번역하는 유의미한 매개변수다. 단 공격·방어의 오류 비용 구조는 비대칭이며, curl 수치로는 인과를 주장할 수 없다.”

C4. 방향 주장 — “AI를 더 똑똑하게가 아니라, 검증 비용을 구조적으로 0에 수렴시켜라”

Claim. ①결정론적 게이트(테스트·타입·정책엔진) ②최소권한과 dual-LLM 격리(S9) ③언어 차원의 구조적 제거(S11의 Android Rust — LLM 없이 달성).

Challenge (Codex). “0에 수렴”이 과잉주장이다.

“격리·최소권한·타입시스템은 검증 대상과 피해 범위를 줄이지만 검증 자체를 없애지 않는다. 공유 원문이 지지하는 목표는 ‘0 수렴’이 아니라 검증 가능성 향상과 잔여위험 제한이다.”

원문이 정확히 그렇게 말한다:

“프롬프트 인젝션 취약점은 생성형 AI의 본질에서 비롯되며 … 방탄(fool-proof) 예방법이 존재하는지 불분명하다.” — OWASP LLM01 (S9)

NIST도 같은 방향이다 — 적대적 훈련은 정상 데이터 정확도 하락이라는 비용을 치르고, 형식 검증은 확장성 한계가 있다(S8). 또 S11의 Rust 성과는 메모리 안전이라는 특정 취약점 계열의 데이터이지 AI 출력 검증 일반에 이전되지 않는다.

Text check. 반론을 수용한다. 결정적으로, 국내 법령도 인간 검증의 제거가 아니라 명시적 유지 쪽에 서 있다 — 「인공지능기본법」 시행령은 최종 의사결정에 사람이 개입하면 통제 가능한 것으로 보아 고영향 AI 대상에서 제외한다(S13). 제도가 human-in-the-loop을 면제 조건으로 삼는다는 것은, 규제 설계자도 자동 검증을 신뢰하지 않는다는 뜻이다.

Synthesis. C4는 문구 수정 후 유지. “0에 수렴”을 폐기하고 → “검증 비용을 낮추고, 검증 실패 시의 피해 범위(blast radius)를 상한으로 묶는다“ 로 교체.

5. Challenger의 독자 주장

Codex가 내 프레임 자체가 놓쳤다고 지적한 두 가지. 둘 다 타당해서 그대로 싣는다.

D1. 핵심 비대칭은 모델 능력이 아니라 “비용의 외부화”다. curl에서 저품질 제출자는 값싼 생성 비용만 내고, 분류와 반증 비용은 메인테이너에게 넘긴다(S7). 그러므로 물어야 할 것은 “누가 더 똑똑한 모델을 쓰는가”가 아니라 “외부화된 검증 비용을 원래 발생시킨 쪽에 되돌려 물릴 통제(제출 제한, 신원·재현성 요구, 최소권한)가 있는가” 이다.

D2. 성과는 탐지량이 아니라 “폐루프(closed-loop) 운영능력”으로 측정해야 한다. 발견 → 검증 → 우선순위 → 패치 → 배포 → 사후확인이 이어지지 않으면 한 단계 개선은 대기열만 키운다. 반대로 Big Sleep 사례는 릴리스 전(S2)·악용 전(S3)에 닫혔기 때문에 실제 위험 감소다. 따라서 AI의 기여 단위는 “발견 건수”나 “자율 작업 비율”이 아니라 “독립 검증된 문제를 피해 발생 전에 종결한 비율” 이어야 한다.

6. 합의된 것 (Agreements)

  1. AI는 취약점 발견에서 실질적 생산성을 낸다. 퍼징이 150 CPU-hours로 못 찾은 것을 찾았고(S2), 5,400만 라인에서 실제 취약점 18건을 부수적으로 발견했다(S1).
  2. 동시에 AI는 양쪽 모두에게 오류를 대량생산한다. 방어 측 slop(S7)과 공격 측 환각(S4)은 같은 현상의 두 얼굴이다.
  3. 완전 자율 공격은 아직 성립하지 않았다. 이는 가드레일이 이겨서가 아니라 모델이 자기 결과를 못 믿기 때문이다(S4). 이 장애물은 모델이 좋아지면 사라진다 — 방어 전략을 여기에 의존하면 안 된다.
  4. 모델 능력과 무관하게 작동하는 방어가 존재하며 효과가 가장 크다. Android의 메모리 안전 취약점 20% 미만 하락은 LLM이 아니라 언어와 타입시스템이 만들었다(S11).
  5. 조치(remediation)는 실측으로 확인된 심각한 병목이다. 스캔에서 발견된 취약점의 9%만 조치된다(S10).
  6. 프롬프트 인젝션에는 방탄 해법이 없다. 표준 기관(S8)과 커뮤니티 표준(S9)이 함께 명시한다. 따라서 설계는 “막는다”가 아니라 “뚫렸을 때 무엇을 할 수 있는가” 를 상한으로 두는 쪽이어야 한다(S9의 Excessive Agency, dual-LLM 격리).

7. 합의되지 않은 것 (Unresolved)

  • 공격·방어 중 어느 쪽이 순증했는가. 동일 분모의 비교 데이터가 존재하지 않는다. 이 글은 이 질문에 답하지 않는다.
  • 오류 비용의 비대칭 정도. “공격자는 한 번만 맞으면 된다”(Codex)와 “제한적 인간 개입으로 캠페인이 굴러갔다”(S4) 중 어느 효과가 우세한지는 미결.
  • “검증 비용”이 유일한 매개인가, 여러 매개 중 하나인가. 후자일 가능성이 높지만 원문으로는 못 가른다.
  • AIxCC 오픈소스 CRS의 실제 확산. 공개 = 채택이 아니다.

8. 검증 지표 (이 토론의 승패를 실제로 가를 측정)

주장을 반증 가능하게 만들지 않으면 하브루타가 아니라 수사다. Codex가 제안한 지표를 다듬어 싣는다.

지표 측정 주체·주기 무엇을 가르는가
독립 검증된 폐루프 조치율 — AI가 제기한 취약점 중 재현·수정승인·배포·사후검증까지 끝난 비율 (사람/기존도구 제기분과 동일 기준 비교) 제품 보안팀 / 분기 C1, D2
위험가중 노출시간 — 최초 발견 → 검증 → 패치 준비 → 실제 배포를 단계별로 분해 기록 SOC·취약점관리 / 월 C2 (발견 단축이 노출 창 감소로 이어지는가)
유효 결과 1건당 총검증비용 — 검토 인시 + 재현 실패 + 회귀 수정 + 오탐 처리 ÷ 유효 결과 수 OSS 프로젝트·기업 보안팀 / 분기 C3
권한경계별 사고·차단률 — 직접 도구실행형 / human-in-the-loop형 / dual-LLM 격리형에서 인젝션 시도·고위험 차단·오승인을 동일 정의로 AI 서비스 운영자 / 월 C4 (구조적 통제가 업무량만 늘리는지, 실제 피해를 줄이는지)
공격–방어 순효과 비율 — 동일 코드·동일 시간·동일 비용 한도에서 AI가 추가한 성공 경로 수 vs 제거한 성공 경로 수 독립 레드·블루팀 평가기관 / 반기 C1의 핵심. 현재 이 데이터가 없어서 C1이 기각된 것이다

9. 그래서 시스템 보안은 어디로 가야 하는가

위 합의만을 근거로, 우선순위 순으로.

1순위 — 취약점 계열 자체를 언어·타입 차원에서 제거한다. 모델 성능 곡선과 무관하게 작동하는 유일한 방어다. Android는 메모리 안전 취약점을 20% 미만으로 떨어뜨렸고, 밀도는 1000배 낮아졌으며, 동시에 롤백 4배 감소·리뷰 25% 단축 이라는 생산성 이득까지 냈다(S11). “안전 vs 속도” 트레이드오프가 성립하지 않은 드문 사례다.

2순위 — 조치 파이프라인의 대역폭을 넓힌다. 스캔 발견분의 9%만 조치되는 조직에서(S10) 탐지 도구를 하나 더 사는 것은 대기열만 키운다. 측정할 것은 탐지 건수가 아니라 폐루프 종결률(D2)이다.

3순위 — 에이전트 권한을 “뚫린다”는 전제로 설계한다. 프롬프트 인젝션에 방탄 해법이 없으므로(S8, S9), 설계 목표는 차단이 아니라 피해 범위 상한이다. OWASP의 처방 그대로 — 과도한 기능·권한·자율성을 각각 줄이고, 고위험 행동에는 인간 승인을 붙이며, 권한 있는 LLM이 비신뢰 콘텐츠를 직접 읽지 않게 격리한다(S9). GTG-1002가 정확히 이 지점을 뚫었다 — 개별 작업은 전부 무해해 보였다(S4).

4순위 — 검증 비용을 발생시킨 쪽에 되돌려 물린다. curl의 대응(AI 사용 신고 의무화 + slop 즉시 밴)이 실물 사례다(S7). 사내 버전으로 옮기면: AI 생성 PR·취약점 리포트에 재현 절차 첨부를 필수로 하고, 재현 실패율을 제출자별로 집계한다.

5순위 — 제도를 체크리스트가 아니라 설계 입력으로 쓴다. 국내에는 이미 쓸 만한 1차 자료가 있다. KISA·과기정통부 「AI 보안 안내서」는 생애주기 전 단계 113개 항목을 개발자/서비스제공자/이용자로 나눠 제시하고 NIST AI RMF·OWASP와 호환되게 설계됐다(S12). 2026년 7월에는 「AI 보안 위협 대응 매뉴얼」과 ISO/IEC 42119-7 기반 「AI 보안 레드티밍 가이드」가 추가됐다. 그리고 「인공지능기본법」이 2026-01-22 시행되어 10²⁶ FLOPs 이상 + 최첨단 + 기본권 중대영향을 모두 충족하는 모델에 안전성 확보 의무를, 10개 분야 고영향 AI에 위험관리 의무를 부과한다. 규제 유예는 최소 1년(S13).

10. 한계, 그리고 무엇이 결론을 바꾸는가

이 글의 한계

  • 라운드 1회, 반대 토론자는 사람이 아니라 다른 모델(Codex CLI 0.146.0)이다. 실험이 아니라 문헌 기반 토론이다.
  • 공유 원문 13건은 영어권 벤더·정부 자료에 치우쳐 있다. 국내 1차 출처는 S12·S13 두 건뿐이다.
  • S3·S4는 벤더 자체 평가이고 제3자 검증이 없다. S5가 정확히 이 점을 지적한다. 이 글에서 이들을 “사실”이 아니라 “벤더 주장”으로 라벨링한 이유다.
  • 성능 우열에 대한 중립적 헤드투헤드 평가는 존재하지 않는다. §8의 5번 지표가 채워지기 전까지 이 주제의 어떤 단정도 근거가 약하다.

결론을 바꿀 관측

  1. 독립 기관이 동일 분모로 “AI가 추가한 공격 경로 vs 제거한 공격 경로”를 측정해 공개하면 → C1이 부활하거나 완전히 뒤집힌다.
  2. 모델이 자기 결과를 신뢰성 있게 자기검증하게 되면 → §6의 합의 3번(완전 자율 공격 미성립)이 무너지고, 4순위 처방이 1순위로 올라온다.
  3. AIxCC 계열 CRS가 실제로 광범위 채택되어 조치율 지표가 움직이면 → C2의 “조치 병목”이 완화되고 우선순위가 재편된다.
  4. 프롬프트 인젝션에 대한 증명 가능한 방어가 등장하면 → 3순위 처방(피해 범위 상한)의 전제가 바뀐다. 현재 NIST·OWASP 둘 다 그런 것은 없다고 본다(S8, S9).

비자문 고지. 이 글은 공개 1차 자료에 대한 분석이며 특정 조직의 보안 의사결정에 대한 자문이 아니다. 인용 수치는 각 출처 발행 시점의 값이다. 보안 통제의 도입은 각 조직의 위협 모델·규제 환경에 따라 달라진다.

References

  1. DARPA. AI Cyber Challenge marks pivotal inflection point for cybersecurity. 2025-08-08. https://www.darpa.mil/news/2025/aixcc-results
  2. Google Project Zero. From Naptime to Big Sleep: Using Large Language Models To Catch Vulnerabilities In Real-World Code. 2024-10. https://projectzero.google/2024/10/from-naptime-to-big-sleep.html
  3. Joyce, S. (Google Cloud). Cloud CISO Perspectives: Our Big Sleep agent makes a big leap. 2025-07-17. https://cloud.google.com/blog/products/identity-security/cloud-ciso-perspectives-our-big-sleep-agent-makes-big-leap
  4. Anthropic. Disrupting the first reported AI-orchestrated cyber espionage campaign. 2025-11-13. https://www.anthropic.com/news/disrupting-AI-espionage · MITRE ATT&CK Campaign C0062. https://attack.mitre.org/campaigns/C0062/
  5. Goodin, D. (Ars Technica). Researchers question Anthropic claim that AI-assisted attack was 90% autonomous. 2025-11-14. https://arstechnica.com/security/2025/11/researchers-question-anthropic-claim-that-ai-assisted-attack-was-90-autonomous/
  6. Google Threat Intelligence Group. GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools. 2025-11-05. https://cloud.google.com/blog/topics/threat-intelligence/threat-actor-usage-of-ai-tools
  7. Stenberg, D. Death by a thousand slops. 2025-07-14. https://daniel.haxx.se/blog/2025/07/14/death-by-a-thousand-slops/
  8. Vassilev, A., Oprea, A., Fordyce, A., Anderson, H., Davies, X., Hamin, M. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations. NIST AI 100-2e2025, 2025-03. https://csrc.nist.gov/pubs/ai/100/2/e2025/final
  9. OWASP. Top 10 for LLM Applications 2025. https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/ (현행판은 OWASP GenAI LLM Top 10 2026)
  10. Verizon. 2025 Data Breach Investigations Report. https://www.verizon.com/business/resources/reports/2025-dbir-executive-summary.pdf
  11. Vander Stoep, J. (Google). Rust in Android: move fast and fix things. 2025-11-13. https://blog.google/security/rust-in-android-move-fast-fix-things/
  12. 과학기술정보통신부·한국인터넷진흥원. 「인공지능(AI) 보안 안내서」. 2025-12-10 발간 / 2026-03-13 정오 수정본. https://www.kisa.or.kr/2060204/form?postSeq=19 · 연합뉴스, 경영진부터 레드팀까지…AI 보안 진단·대응 가이드 나왔다. 2026-07-08. https://www.yna.co.kr/view/AKR20260708096200017
  13. 국가법령정보센터. 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」 (시행 2026-01-22). https://www.law.go.kr/lsInfoP.do?lsiSeq=268543
  14. Leopard 하브루타 스킬 (검증 커밋 397f931). https://github.com/MyoungSoo7/leopard