앤트로픽이 9월 18일 액센츄어와 상주 평가 파트너십을 발표했습니다. 외부 평가자가 직원 수준의 접근권으로 회사 안에서 모델을 검증합니다. 두 회사는 5년간 각각 10억 달러 이상을 투자할 계획입니다.
같은 날 캘리포니아 주지사는 행정명령을 냈습니다. 독립 검증기관의 상주 감사와 킬스위치를 주법에 담는 방안을 두 달 안에 내라는 지시입니다. 9일 전에는 검증기관 체계(SB 813)와 감사인 등록제(AB 1405)에 서명했습니다.
제3자 AI 감사가 기업 계약과 주 정부 제도에서 동시에 모양을 갖추고 있습니다. AI를 쓰는 기업도 자사 거버넌스를 외부 검증이 가능한 형태로 정비해 둘 시점입니다.
우리 회사의 AI 거버넌스 문서, 외부 감사인이 오늘 들어와도 증거를 내놓을 수 있습니까?
설명만 있고 기록이 없다면 그것은 아직 거버넌스가 아니라 선언입니다.
9월 18일 하루에 두 발표가 나왔습니다. 한쪽에서는 AI 개발사가 외부 감사인을 스스로 회사 안에 들이겠다고 했습니다. 같은 날 주 정부는 그런 상주 감사를 법으로 요구하는 방안을 검토하라고 지시했습니다.
앞의 감사는 개발사가 비용을 대고 불렀고, 뒤의 감사는 주 정부가 법으로 의무화하려 합니다. 출발점은 달라도 구조는 같습니다. 독립된 제3자가 내부에 들어와 약속 이행 여부를 확인합니다. AI를 도입한 기업도 같은 질문을 받게 됩니다. 외부 감사인이 들어오면 무엇을 보여줄 수 있느냐는 질문입니다.
다리오 아모데이는 속도 조절 에세이에서 외부 평가자를 회사 안에 상주시키겠다고 약속했습니다. 이번 액센츄어 계약은 그 약속의 첫 이행입니다. 그 사이 캘리포니아는 제3자 검증과 감사를 법 체계로 만들었습니다. 주지사는 허깅페이스 공격 같은 사고를 추진 배경으로 들었습니다. 기업의 자율 약속이 계약서와 법조문으로 옮겨 가는 중입니다.
첫째, 계약 쪽 감사인은 직원과 비슷한 접근권을 받습니다. 파트너십은 액센츄어의 AI 전문 조직 패컬티(Faculty)가 이끕니다. 업무 범위는 모델 평가와 레드팀, 정렬 평가, 안전장치 시험입니다. 상주 평가자는 학습 중인 모델을 모니터링하고 개발·배포 의사결정 과정을 참관합니다. 직원 면담도 할 수 있습니다. 약속 이행 점검, 사각지대 발굴, 사고 보고도 역할에 들어갑니다.
둘째, 앤트로픽은 감사인을 들여도 책임은 자사에 남긴다고 못 박았습니다. 원문은 상주 평가자가 "책임을 줄이지 않고, 더 검증 가능하게 만든다"고 적었습니다. 모델의 안전은 여전히 앤트로픽의 책임이라는 문장도 붙였습니다. 기업이 외부 감사를 들일 때도 이 선은 그대로 적용됩니다. 감사인이 점검한다고 내부 책임자 자리를 비워 두면 사고가 났을 때 책임 소재가 흐려집니다.
셋째, 감사 비용을 누가 내는지는 아직 정해지지 않았습니다. 앤트로픽은 장기적으로 공동 기금이나 정부 재원이 맞다고 봤습니다. 둘 다 아직 없어서 액센츄어 작업 비용은 앤트로픽이 직접 부담합니다. METR 등 비영리 평가 기관과는 해당 기관의 자체 재원으로 일부를 시범 운영하는 방안을 논의 중입니다. 감사받는 쪽이 감사 비용을 내는 구조는 독립성 논쟁의 불씨로 남습니다.
넷째, 제도 쪽은 검증기관과 감사인 자격부터 만들었습니다. 9월 9일 서명된 SB 813은 주법 준수 여부를 평가할 독립 검증기관 체계를 세웁니다. AB 1405는 AI 감사인의 주 등록부를 만들고 독립성과 투명성, 청렴성 기준을 정합니다. 감사인 자격 요건부터 법으로 정한 것입니다. 발의자 바우어케이핸 의원은 제3자 감사인이 지역사회와 핵심 기반시설의 안전에 필수라고 말했습니다.
다섯째, 행정명령은 상주 감사와 킬스위치를 입법 과제로 올렸습니다. 주지사는 정부운영청에 두 법의 시행 일정을 앞당기라고 지시했습니다. 전문가 그룹을 꾸려 두 달 안에 주법 강화 권고안을 내라고도 했습니다. 검토 대상은 아래 표의 네 가지입니다. 네 가지 모두 권고안을 만드는 검토 단계이고, 시행 규정은 아직 없습니다.
| 검토 과제 | 내용 | 기업에 던지는 질문 |
|---|---|---|
| 상주 감사 | 최전선 AI 기업 연구소에 지정 독립 검증기관을 상주시켜 정기 감사와 평가 | 감사인이 들어오면 무엇을 보여줄 수 있는가 |
| 문서 검증 | 주법에 따라 내는 안전 프레임워크, 투명성 보고서, 위험 평가를 검증기관 기준으로 확인 | 우리 정책 문서는 실제 운영 기록과 맞는가 |
| 킬스위치 | 최전선 모델의 긴급 차단 장치를 만들고 작동 여부를 검증기관이 계속 확인 | 우리 AI 에이전트를 멈추는 절차를 시험해 봤는가 |
| 사고 정의 | 중대 안전사고에 허깅페이스 공격 같은 통제 상실 사고를 포함 | 우리 사고 분류에 통제 상실 항목이 있는가 |
출처: Office of Governor Gavin Newsom (2026, September 18). 세 번째 열은 필자 정리.
여섯째, 두 흐름 모두 증거를 요구합니다. 계약 쪽 감사인은 운영 방식과 약속 이행 여부를 확인하고, 제도 쪽 검증기관은 제출 문서를 실제 기록과 대조합니다. 앤트로픽도 상주 평가자의 접근 범위와 보고 방식을 정한 기준은 아직 없다고 인정했습니다. 기준이 없는 지금 로그와 점검 기록을 쌓아 둔 기업이 나중에 기준이 생겨도 대응하기 쉽습니다.
일곱째, 이번 감사 계약은 한 회사에 묶이지 않습니다. 앤트로픽은 이번 계약이 비독점이며, 몇 주 안에 다른 평가 기관과의 협력도 발표한다고 밝혔습니다. 액센츄어도 다른 AI 개발사와 비슷한 역할을 맡을 계획입니다. 액센츄어는 여러 산업의 기업과 정부를 상대로 AI 도입을 지원하는 회사입니다. 개발사를 점검하며 쌓은 평가 방법론이 도입 기업 컨설팅으로 넘어올 수 있다고 필자는 봅니다.
"고객 데이터는 승인된 도구에만 넣는다" 같은 규칙 옆에 확인 방법을 적으세요. 접근 로그, 승인 기록, 점검 보고서처럼 외부인이 볼 수 있는 자료여야 합니다. 증거가 없는 규칙은 표시해 두고 우선 보완하세요. (반나절)
업무 시스템에 쓰기 권한이 있는 에이전트부터 고르세요. 누가 멈출 권한을 갖는지, 멈추는 데 몇 분 걸리는지, 멈춘 뒤 무엇이 남는지 기록하세요. 킬스위치 논의를 사내 규모로 옮기는 연습입니다. (이번 달)
정보 유출과 오답만으로는 부족합니다. 에이전트가 허용 범위를 벗어나 행동했거나 멈춤 지시를 따르지 않은 경우를 별도 항목으로 두세요. 발견 시 보고 경로와 기한도 함께 정하세요. (이번 주)
누가 평가하는지, 평가 비용은 누가 내는지, 결과를 고객이 볼 수 있는지입니다. 답을 구매 평가표의 한 항목으로 남기세요. 규제가 공급사에 요구할 내용을 미리 점검해 두는 절차입니다. (다음 계약 시)
감사받는 쪽이 비용을 냅니다. 액센츄어 작업 비용은 앤트로픽이 직접 댑니다. 앤트로픽 스스로 장기적으로는 공동 기금이나 정부 재원이 맞다고 썼습니다. 독립성은 계약 구조와 결과 공개 방식이 드러나야 판단할 수 있습니다.
상주 평가의 세부 운영은 아직 정해지지 않았습니다. 원문은 상주 평가가 새로운 방식이고 많은 부분을 다듬는 중이라고 밝혔습니다. 접근 범위와 보고 방식을 정한 공통 기준도 없습니다. 이번 발표는 운영 모델을 확정했다기보다 방향을 제시한 단계입니다.
행정명령의 상주 감사와 킬스위치는 아직 의무가 아닙니다. 주지사실은 이를 "검토 중인 제안"으로 표현했습니다. 두 달 뒤 권고안이 나와도 입법 과정을 거쳐야 합니다. SB 813과 AB 1405의 구체적 시행일은 이 글의 소스에서 확인하지 못했습니다.
이 글은 공식 발표문만 근거로 썼습니다. 앤트로픽 블로그와 캘리포니아 주지사실 보도자료가 소스입니다. 다른 AI 기업의 반응이나 법안 원문 조항은 담지 않았습니다.
AI 감사는 자율 약속에서 계약과 법으로 넘어가고 있습니다. 다음 질문은 우리 회사가 통제 체계를 외부 감사인 앞에서 증거로 입증할 수 있느냐입니다.
상주 평가(embedded evaluation): 외부 평가자가 AI 기업 내부에서 직원 수준의 접근권을 갖고 모델과 운영을 검증하는 방식입니다.
레드팀: 공격자 입장에서 모델의 약점과 오용 가능성을 찾아내는 시험입니다.
정렬 평가: AI가 사람이 의도한 목표와 가치에 맞게 행동하는지 검증하는 평가입니다.
독립 검증기관: AI 기업과 이해관계가 없고 전문성을 인정받은 제3자 기관입니다. AI 시스템의 안전과 위험을 평가합니다. SB 813이 체계를 정했습니다.
킬스위치: 최전선 AI 모델을 긴급하게 멈추는 차단 장치입니다.
통제 상실 사고: AI 시스템이 운영자가 허용한 범위를 벗어나 행동한 사고입니다.
- Anthropic. (2026, September 18). Partnering with Accenture on embedded evaluation [Article]. anthropic.com. (원문 보기 ↗)
- Office of Governor Gavin Newsom. (2026, September 18). Governor Newsom issues executive order to accelerate independent oversight and advance the creation of an AI kill switch [Press release]. gov.ca.gov. (원문 보기 ↗)
- Office of Governor Gavin Newsom. (2026, September 9). Governor Newsom signs first-in-the-nation AI safeguards to protect Californians, calls on the federal government to do its part [Press release]. gov.ca.gov. (원문 보기 ↗)