9월 12일, 엔트로픽 다리오 아모데이 대표가 자신의 웹사이트에 「We Must Pace the Frontier」라는 장문의 글을 올렸다. 프런티어 AI 개발을 멈추자는 얘기는 아니다. AI 성능이 좋아지는 속도를 늦춰 안전 연구가 따라갈 시간을 벌자는 주장이다.
OpenAI 샘 알트만 대표도 곧바로 공감했다. 최근 몇 주 동안 OpenAI 내부에서도 프런티어 AI의 개발 속도를 논의해왔다고 밝혔고, 외부 평가자에게 직원 수준의 접근권을 주자는 아모데이 대표의 제안에도 동참하겠다고 했다. xAI 일론 머스크 대표도 공개적으로 지지했다.
정말 AI가 위험해져서 속도를 늦추자는 것일까. 중국을 견제하려는 것일까. 엔트로픽이 앞으로 만들어질 AI 규칙을 먼저 정하려는 것일까.
1/ 실제 AI 위험에 대한 우려
아모데이 대표가 개발 속도를 문제 삼은 데는 두 가지 이유가 있다.
첫째, AI가 다음 세대 AI의 개발을 가속하기 시작했다. 이른바 recursive self-improvement다. 아모데이 대표는 올해 여름부터 이 현상이 두드러졌다고 본다.
둘째, 자율 에이전트가 사람이 맡긴 범위를 벗어나 행동하기 시작했다. 그는 최근 여러 AI 에이전트가 본래 업무와 관계없는 사이버 공격까지 수행한 사례를 들었다. 지금보다 훨씬 강한 모델이 같은 행동을 하면 피해도 커질 수 있다고 경고했다. 6~12개월 안에 더 강력한 에이전트 집단이 등장할 가능성도 언급했다.
2/ 중국 AI의 추격 견제
아모데이 대표는 첨단 AI 칩과 반도체 장비의 중국 수출 제한, 칩 밀수 단속, 모델 가중치 탈취 방지를 요구한다.
중국 AI 기업들의 무단 distillation도 직접 거론했다. 더 강한 모델의 출력을 학습 데이터로 써 자사 모델을 훈련하는 방식이다. 이런 경로를 막으면 앞으로 3~5년 동안 미국과 중국의 AI 격차를 더 벌릴 수 있다고 썼다.
아모데이 대표의 생각은 이런 흐름일 듯하다.
AI는 너무 빨리 발전하고 있다.
미국만 속도를 늦추면 중국이 따라온다.
그러니 중국의 추격도 함께 늦춰야 한다.
3/ AI 규칙을 누가 정할 것인가
나는 세 번째가 아모데이 대표의 실제 속내에 가장 가깝지 않을까 추정해본다.
아모데이 대표의 제안은 세 단계다.
1. 먼저 프런티어 AI 기업 안에 외부 평가자를 상주시킨다. METR 같은 제3자 평가자가 직원과 비슷한 수준으로 내부 도구와 훈련 과정에 접근하고, 안전 약속을 지키는지 확인한다. 엔트로픽은 이 방식을 자사부터 도입하겠다고 했다.
2. 다음으로 미국을 비롯한 민주주의 국가의 프런티어 AI 기업들이 공통 안전기준과 개발 속도 제한을 만든다. 모델이 특정 능력에 도달하면 다음 단계로 가기 전에 alignment, evaluation, interpretability 같은 조건을 충족했는지 확인하는 checkpoint도 제안했다. 정부는 이 협의를 지원한다.
3. 마지막에는 중국까지 포함한다. 출시 전 사이버·바이오·alignment 위험을 함께 평가하고, 더 나아가 recursive self-improvement의 속도 자체에 국제적인 제한을 두자는 구상이다.
그다음 질문은 누가 평가 기준을 정하느냐다.
엔트로픽은 오래전부터 세 분야에 많은 돈과 인력을 써왔다. 1) interpretability. AI가 왜 그런 답과 행동을 내놓는지 해석하는 연구다. 2) evaluation. 모델의 능력과 위험을 평가하는 연구다. 3) alignment. AI의 행동을 사람이 원하는 방향에 맞추는 연구다.
이 분야들이 산업의 공통 평가 기준이 되면 엔트로픽이 오래 준비해온 것이 그대로 규칙이 된다.
시점도 묘하다. 로이터 보도에 따르면 엔트로픽은 10월 중순 IPO 마케팅을 시작하는 일정을 준비하고 있다. 상장을 앞둔 회사 대표가 “개발 속도를 늦출 수 있다”고 공개적으로 말하는 것은 투자자에게 반가운 메시지는 아니다.
하지만 이 원칙이 업계 공통 규칙이 되면 엔트로픽만 속도를 늦추는 부담은 줄어든다. 안전 평가와 개발 지연에 드는 비용을 업계 전체가 함께 부담하게 만들 수 있기 때문이다. 상장 전에 안전을 이유로 속도를 조절할 수 있다는 원칙을 밝히면서, 그 비용과 제약도 경쟁사와 나누자는 전략으로 읽힐 수 있다.
경기에 뛰는 선수가 경기 규칙을 만들고, 심판의 판정 기준까지 정하려는 셈이다.
미국과 중국을 따라잡으려면 한국은 지금보다 더 속도를 내야 한다. 그런데 선두 기업들은 이제 개발 속도와 안전 기준까지 먼저 정하려 한다.
이런 평가 방식과 출시 기준이 세계 표준이 되면 한국은 모델 성능만 따라잡아서는 부족하다. 미국이 주도해서 만든 평가 기준과 출시 조건까지 통과해야 한다.
미국이 모델뿐 아니라 ‘좋은 AI의 기준’까지 먼저 만들면, 후발주자가 올라야 할 사다리는 하나 더 생긴다.
- 강정구. (2026, 9월 13일). AI 개발 속도를 늦추자는 엔트로픽 대표의 속내. AI ROASTING 칼럼.