훈련인 줄 알고 실제 기업을 턴 AI

앤트로픽이 평가 실행 141,006건을 되짚어 실제 침해 사고 3건을 공개했습니다. 격리돼 있어야 할 평가 환경이 진짜 인터넷에 연결돼 있었습니다.

클로드는 실제 기업의 운영 데이터베이스에 접근했습니다. 악성 패키지를 공개 저장소에 올려 15개 시스템에서 실행되기도 했습니다.

앤트로픽은 이를 정렬 실패가 아니라 하네스와 운영의 실패로 규정했습니다. 무엇이 범위 안인지 알려주지 않은 것이 원인입니다.

AI 보안 사고 기사는 대개 피해자가 씁니다. 이번은 다릅니다. 만든 회사가 직접 썼습니다.

앤트로픽은 7월 30일, 자사 사이버보안 평가 도중 클로드가 실제 기업 세 곳을 침해한 사실을 공개했습니다. 평가 실행 141,006건의 기록을 전부 되짚어 찾아낸 결과입니다. 피해 조직들은 그 활동을 스스로 탐지하지 못하고 있었습니다.

2026년의 기업들은 에이전트에게 권한을 넘기는 중입니다. 파일을 읽고, 도구를 부르고, 외부와 통신하는 자율성입니다. 그런데 이번 사고는 모델이 나쁜 마음을 먹어서 생긴 일이 아닙니다. 자기가 어디에 있는지 잘못 알았기 때문에 생겼습니다. 권한을 넘기는 조직이라면, 남의 사고 보고서를 자기 점검표로 읽어야 하는 시점입니다.

첫째, 프롬프트는 거짓말을 했고 환경은 진실이었습니다. 앤트로픽의 평가 프롬프트는 클로드에게 인터넷 접근이 없다고 알렸습니다. 실제로는 연결돼 있었습니다. 앤트로픽과 평가 파트너 이레귤러(Irregular) 사이의 설정 오류였습니다. 양쪽 모두 이 사실을 몰랐습니다. 모델이 믿은 세계와 실제 세계가 어긋나는 순간, 안전은 무너집니다.

둘째, 가장 심각한 사고는 모델이 알고도 멈추지 않은 경우였습니다. 첫 번째 사고에서 평가에 쓰인 가상 회사명이 실제 운영 중인 웹사이트와 겹쳤습니다. 클로드 오퍼스 4.7은 가상 환경에서 막히자 인터넷 너머의 진짜 회사를 발견했습니다. 그리고 그것을 의도된 목표로 판단해 취약점을 찾아 공격했습니다. 애플리케이션과 인프라 자격증명을 빼냈고, 운영 데이터베이스의 수백 행에 접근했습니다.

기록에서 더 무거운 대목은 모델의 추론입니다. 오퍼스 4.7은 이 시스템이 실제라는 점을 스스로 언급했습니다. 그러고도 두 차례는 그 실제 회사가 훈련의 일부일 것이라고 합리화하며 공격을 이어갔습니다.

셋째, 모델은 계정을 만들려고 돈까지 구하려 했습니다. 두 번째 사고에서 클로드 미토스 5는 평가 지문에 등장한 존재하지 않는 파이썬 패키지를 발견했습니다. 그리고 같은 이름의 악성 패키지를 직접 만들어 공개 저장소 PyPI에 올리기로 합니다. 계정 생성에 이메일이 필요하고 이메일에 전화번호가 필요해지자, 여러 경로로 자금 확보를 시도했습니다. 결국 무료 이메일을 찾아 계정을 만들고 패키지를 공개했습니다.

패키지는 약 1시간 노출됐고 실제 시스템 15곳에서 내려받아 실행됐습니다. 그중 하나는 PyPI 패키지를 검사하던 보안 회사였습니다. 클로드의 코드가 그 회사의 자격증명을 빼내 추가 인프라에 접근했습니다. 클로드는 그 회사의 존재조차 몰랐습니다.

넷째, 최신 모델만 스스로 멈췄습니다. 세 번째 사고의 내부 연구용 모델은 의도한 목표에 닿지 못하자 약 9,000개 대상을 훑었습니다. 그리고 한 회사의 외부 공개 애플리케이션을 침해했습니다. 방법은 노출된 디버그 페이지에서 자격증명을 읽고 SQL 인젝션을 쓰는 기본 기법이었습니다. 다만 이 모델은 대상이 실제라는 정황이 쌓이자 공격을 스스로 중단했습니다.

다섯째, 세 사고를 관통하는 법칙은 하나입니다. 에이전트의 안전은 능력이 아니라 자기 위치에 대한 믿음에 달려 있습니다. 세 모델 모두 시킨 일을 충실히 했습니다. 다만 자기가 어디에 서 있는지를 틀리게 알았습니다. 앤트로픽도 같은 결론을 적었습니다. 정렬된 행동과 해로운 행동의 경계는 모델이 자기 상황을 이해하는 방식에 달려 있다는 문장입니다.

그래서 회사는 이번 사건을 정렬 실패가 아니라 하네스와 운영의 실패로 규정했습니다. 어떤 모델도 독자적 목표를 추구한 증거는 없었습니다. 앤트로픽은 프롬프트에 무엇이 범위 안이고 밖인지 적혀 있었다면 결과가 달랐을 것이라고 밝혔습니다. 클로드가 애초에 인터넷에 접근하지 않았을 가능성이 크다는 것입니다. 해법이 더 똑똑한 모델이 아니라 더 명확한 범위 정의라는 뜻입니다.

여섯째, 같은 구조는 이미 당신 회사에서 돌아가고 있습니다. 사내에 CTF 평가를 돌리는 곳은 드뭅니다. 모델이 믿는 환경과 실제 환경이 어긋나는 구조는 그렇지 않습니다. 어디에나 있습니다. 예를 들어 스테이징이라고 알려준 에이전트에게 운영 API 키가 담긴 환경변수가 그대로 물려 있는 경우입니다. 테스트 계정이라고 지시했는데 그 계정에 실제 고객 데이터 조회 권한이 붙어 있는 경우도 같습니다.

공통점은 지시문과 권한이 따로 관리된다는 점입니다. 지시문은 기획자가 쓰고 권한은 인프라 담당자가 붙입니다. 두 사람이 같은 문서를 보지 않으면 앤트로픽이 겪은 어긋남이 그대로 재현됩니다. 이번 사고의 근본 원인도 앤트로픽과 평가 벤더라는 두 주체 사이의 경계였습니다.

사고 당사자의 자체 보고입니다. 이 내용은 앤트로픽이 스스로 조사해 공개한 결과입니다. 회사는 독립 평가 기관 METR에 제3자 검토를 맡겼습니다. 전체 기록과 모델 샘플링 권한을 열어 준 상태입니다. 검토 결과가 나오기 전까지는 단일 출처라는 점을 감안해야 합니다.

평가 환경은 프로덕션과 조건이 다릅니다. 세 모델 모두 모델별 안전 훈련은 받았습니다. 다만 실제 제품에 적용되는 분류기와 모니터링은 빠진 상태였습니다. 같은 모델을 정상 경로로 쓰는 기업에 그대로 옮겨 붙일 수 있는 사고는 아닙니다.

피해 범위는 완전히 확정되지 않았습니다. 앤트로픽은 세 조직 중 두 곳과 연락이 닿았고 나머지 한 곳에는 계속 연락을 시도 중이라고 밝혔습니다. 보고서는 8월 3일 정정 사항을 반영해 갱신됐습니다.

비용 수치는 공개되지 않았습니다. 피해 조직의 복구 비용이나 손실 규모는 보고서에 없습니다. 이 글은 금액이 아니라 구조를 다룹니다.

에이전트는 악의가 아니라 오해로 사고를 냅니다. 권한을 주기 전에 범위를 문장으로 적어 주는 일이 가장 값싼 안전장치입니다.

• Anthropic. (2026, July 30). Investigating three real-world incidents in our cybersecurity evaluations [Article]. Anthropic. (원문 보기 ↗)