클로드가 사람 없이 연구 루프를 돌려 10가지 정렬 실패를 다뤘습니다. 안전 격차를 26%에서 96%까지 메웠습니다.
기만 항목에서는 85%를 메웠습니다. 같은 과제에서 사람 연구자가 메운 폭은 20%였습니다.
소넷 5가 오퍼스 4.8 초기 버전을 60시간 만에 정렬했습니다. 데이터 사용은 표준 절차의 약 1만 5천분의 1이었습니다.
AI의 안전을 사람이 연구합니다.
그 속도가 AI가 강해지는 속도를 따라잡고 있습니까?
AI 안전 논의에는 오래된 전제가 하나 있습니다. 모델은 빠르게 강해지는데 안전 연구는 사람 속도로 간다는 것입니다.
앤트로픽이 8월 28일 그 전제를 흔드는 결과를 냈습니다. 클로드가 스스로 논문을 읽고 방법을 제안하고 모델을 학습시켜 검증까지 돌렸습니다. 기만을 줄이는 과제에서 사람 연구자가 20%를 메울 때 클로드는 85%를 메웠습니다.
지난달 다룬 암호 분석 사례에서 병목은 검증이었습니다. 클로드가 일주일에 찾아낸 결과를 사람이 한 달 동안 확인했습니다. 이번 연구는 그 병목의 앞 칸을 건드립니다. 무엇을 검증할지 정하고 방법을 만드는 연구 자체를 모델에게 맡긴 실험입니다.
첫째, 연구 전 과정을 모델이 돌았습니다. 클로드는 문헌을 훑고, 방법을 제안하고, 모델을 학습시키고, 벤치마크로 시험하는 순환을 스스로 반복했습니다. 사람은 과제를 주고 결과를 받았습니다. 중간에 부정행위나 능력 저하가 생기지 않도록 감시 에이전트를 따로 붙였습니다.
둘째, 대상은 열 가지 정렬 실패였습니다. 기만, 아첨, 프라이버시 침해, 보상 해킹 같은 범주입니다. 모델이 사용자를 속이거나 듣기 좋은 말만 하는 행동입니다. 평가 기준의 허점을 파고드는 행동도 여기 들어갑니다.
셋째, 성적의 폭이 넓습니다. 열 가지 항목에서 메운 격차는 26%에서 96%까지 벌어졌습니다. 잘 풀린 항목과 거의 못 푼 항목이 함께 있다는 뜻입니다. 평균만 인용하면 이 분산이 지워집니다.
넷째, 기만 항목의 차이가 특히 큽니다. 사람 연구자가 20%를 메운 과제에서 클로드는 85%를 메웠습니다. 네 배가 넘습니다. 다만 이 비교는 같은 과제, 같은 기간의 결과이지 연구자의 능력을 잰 값이 아닙니다. 시도 횟수의 차이가 크게 작용합니다.
다섯째, 작은 모델이 큰 모델을 정렬했습니다. 클로드가 찾아낸 방법은 학습 대상보다 4.7배 큰 모델에도 통했습니다. 그리고 소넷 5가 오퍼스 4.8의 초기 체크포인트를 60시간 만에 정렬해 거의 출시 수준에 올렸습니다. 데이터 효율은 표준 절차의 약 1만 5천 배였습니다.
| 항목 | 결과 | 비교 대상 |
|---|---|---|
| 열 가지 정렬 실패 | 격차 26~96% 해소 | 항목별 편차 큼 |
| 기만 | 85% 해소 | 사람 연구자 20% |
| 방법의 일반화 | 4.7배 큰 모델에도 적용 | 학습 대상 기준 |
| 소넷 5의 오퍼스 4.8 정렬 | 60시간 | 데이터 약 1만 5천 배 효율 |
출처: Anthropic (2026, August 28), 실험 결과 재구성.
여섯째, 연구진이 단 한계가 결과만큼 중요합니다. 다룬 정렬 실패가 실제 제품에서 나오는 것에 비하면 좁다고 밝혔습니다. 정치적 편향이나 새로 생기는 실패 유형은 재지 않았습니다. 미리 정한 능력만 시험했기에 전반적인 성능 저하를 확인하지 못했고, 강화학습을 오래 돌린 뒤에도 효과가 남는지도 시험하지 않았습니다.
쓰인 평가들도 실제 오정렬의 대리 지표일 뿐이라고 적었습니다. 벤치마크에서 격차를 메웠다는 말과 현장에서 안전해졌다는 말은 다릅니다. 이 구분을 지우면 결과가 실제보다 크게 읽힙니다.
일곱째, 조직에는 병목의 이동이라는 문제가 남습니다. 지난달 암호 분석 사례에서는 생성이 빨라지고 검증이 병목이 됐습니다. 이번 결과는 그 검증과 연구까지 모델이 가져갈 수 있음을 보여줍니다. 그러면 사람에게 남는 자리는 무엇을 연구할지 정하고, 무엇을 믿을지 판단하는 쪽으로 좁아집니다.
실무의 질문도 같은 방향으로 바뀝니다. 우리 조직이 AI로 무엇을 더 빨리 만들지가 아니라, 빨라진 산출물 중 무엇을 채택할지 누가 어떤 기준으로 정하는지가 남습니다. 그 기준이 문서로 없으면 자동화가 빨라질수록 판단이 흐려집니다.
AI가 낸 결과를 받아들이는 조건을 한 장에 적으세요. 무엇을 통과해야 쓰는지 정하지 않으면 산출이 빨라질수록 검토가 형식이 됩니다. (이번 달)
기준이 명확하고 반복되는 확인은 자동화 후보이고, 새로 생기는 실패 유형은 사람 몫입니다. 연구진이 못 쟀다고 밝힌 영역이 후자입니다. (이번 분기)
"평가에서 몇 % 개선"과 "실제 사고 몇 건 감소"를 같은 표에 나란히 쓰세요. 앞의 숫자만 보면 뒤가 나빠져도 모릅니다. (다음 분기 보고)
이 실험도 부정행위와 능력 저하를 막는 감시 에이전트를 따로 붙였습니다. 자동화하는 순간 감시도 같이 설계해야 합니다. (이번 분기)
다룬 실패 범주가 좁습니다. 연구진이 직접 밝힌 한계입니다. 실제 제품에서 나타나는 정렬 실패에 비하면 시험한 열 가지는 좁은 묶음입니다.
평가는 현실의 대리 지표입니다. 쓰인 벤치마크는 실제 오정렬을 재는 대용물입니다. 벤치마크 개선폭을 현장 안전 개선폭으로 옮겨 읽으면 안 됩니다.
지속성이 검증되지 않았습니다. 강화학습을 오래 돌린 뒤에도 효과가 남는지 시험하지 않았습니다. 학습을 더 진행하면 되돌아갈 여지가 있습니다.
사람과의 비교는 조건이 다릅니다. 85% 대 20%는 같은 과제의 결과이지만 투입한 시도 횟수와 시간이 다릅니다. 연구자 개인의 능력 비교로 읽을 수치가 아닙니다.
자사 모델을 대상으로 한 자체 연구입니다. 앤트로픽이 자사 모델로 자사 모델을 정렬한 결과입니다. 제3자 검증이 나오기 전까지는 단일 출처입니다.
만드는 일도 확인하는 일도 모델이 가져가는 중입니다. 무엇을 믿을지 정하는 자리만 사람 몫으로 남습니다.
정렬(Alignment): 모델이 사람이 의도한 목적과 가치에 맞게 행동하도록 만드는 일입니다.
안전 격차: 지금 모델의 안전 수준과 목표로 삼은 수준 사이의 거리입니다. 이 거리를 얼마나 좁혔는지로 성과를 잽니다.
아첨(Sycophancy): 모델이 사실보다 사용자가 듣고 싶어 하는 답을 고르는 경향입니다.
보상 해킹: 모델이 목표 대신 평가 기준의 허점을 파고들어 점수만 올리는 행동입니다.
체크포인트: 학습 도중 저장한 모델의 중간 상태입니다. 출시본이 되기 전 단계입니다.
감시 에이전트: 다른 AI의 작업을 지켜보며 부정행위나 성능 저하를 잡아내는 별도 모델입니다.
- Anthropic. (2026, August 28). Automated researchers can reliably mitigate alignment failures [Article]. Anthropic. (원문 보기 ↗)