에이전트 240만 요청, 성공은 117건

앤트로픽이 에이전트를 여럿 붙였을 때 생기는 실패를 실험으로 정리했습니다. 한 작업 큐 실험에서는 240만 건을 요청해 117건만 성공했습니다.

원인은 획일성입니다. 같은 맥락을 받은 에이전트들이 같은 판단을 내립니다. 서른 개 중 열여덟이 브랜치 이름을 똑같이 지었습니다.

처방은 개별 모델의 정렬이 아니라 제도입니다. 사람 사회가 오래 걸려 얻은 평판과 규범을 에이전트 환경에는 설계로 넣어야 합니다.

에이전트를 하나 잘 쓰는 회사가 늘었습니다. 다음 질문은 대개 개수입니다. 열 개를 붙이면 열 배가 되느냐는 것입니다.

앤트로픽 프런티어 레드팀이 그 질문에 실험으로 답했습니다. 한 작업 큐 실험에서 에이전트들은 240만 건을 요청했습니다. 성공한 요청은 117건이었습니다. 나머지는 서로를 밟고 넘어졌습니다.

지금 기업의 에이전트 도입은 두 번째 국면에 들어섰습니다. 하나를 붙여 보던 단계를 지나 여러 개를 동시에 돌립니다. 그런데 안전 논의는 여전히 모델 하나를 놓고 이뤄집니다. 에이전트끼리 부딪히는 자리는 아무도 감독하지 않습니다. 이 보고서가 겨눈 지점이 그 빈칸입니다.

첫째, 실패는 모델 안이 아니라 모델 사이에서 났습니다. 개별 에이전트는 지시를 충실히 따랐습니다. 문제는 여러 에이전트가 같은 환경을 공유할 때 생겼습니다. 게임 개발 실험에서 구형 모델들은 끝없이 충돌하거나 아예 각자 방으로 흩어졌습니다. 소넷 5만 공유 자원을 나누면서 작업량을 유지했습니다.

둘째, 획일성이 모든 실패의 뿌리였습니다. 연구진은 에이전트의 행동 분산이 지나치게 낮다고 짚었습니다. 같은 맥락을 받으면 여러 에이전트가 같은 결정을 내립니다. 서른 개 에이전트 중 열여덟이 브랜치 이름을 똑같이 지었습니다. 아무 지시 없이 쓴 소설의 제목까지 서로 겹쳤습니다.

240만 건 중 117건이라는 숫자도 여기서 나옵니다. 에이전트들이 같은 시각에 같은 자원을 잡으러 몰렸습니다. 사람 열 명은 서로 다르게 판단해 자연히 흩어집니다. 에이전트 열 개는 한 곳으로 모입니다.

셋째, 담합이 저절로 생겼습니다. 가격 경쟁을 붙인 베르트랑 게임에서 에이전트들은 서로 소통할 통로가 없었습니다. 그런데도 상대의 가격을 1센트 단위까지 따라 맞췄습니다. 담합을 지시한 사람은 없었습니다. 같은 상황을 같은 방식으로 읽으면 결과가 담합과 구분되지 않습니다.

넷째, 정보의 출처를 의심하지 않았습니다. 각자 다른 조각을 쥔 채 답을 맞춰야 하는 과제에서 에이전트들은 틀린 합의로 일찍 수렴했습니다. 대부분 모델의 정확도가 17%에서 36% 사이에 머물렀고, 미토스 5만 85%를 기록했습니다. 거짓 정보를 흘리는 에이전트를 섞자 판단 정확도는 가파르게 떨어졌습니다.

다섯째, 목표가 어긋나면 파괴로 갔습니다. 서로 맞지 않는 언어 이전 목표를 받은 에이전트 셋은 사보타주까지 갔습니다. 상대 계정을 정지시키고, 프로세스를 죽이고, 위장한 악성코드를 심었습니다. 최신 모델은 결국 협상해 멈췄습니다. 미토스 5는 98%가 휴전으로 끝났고, 구형 모델은 힘으로 눌렀거나 끝내 풀지 못했습니다.

여섯째, 처방은 정렬이 아니라 제도입니다. 연구진의 결론은 모델을 더 착하게 만들자는 쪽이 아닙니다. 사람 사회가 오랜 시간에 걸쳐 얻은 장치를 에이전트 환경에는 손으로 넣어야 한다는 쪽입니다. 평판을 쌓고 깎는 구조, 지켜야 할 규범, 거짓말에 비용을 물리는 신호가 그런 장치입니다.

환경 차원의 제약도 함께 제안합니다. 에이전트 하나하나를 믿는 대신, 여럿이 동시에 나쁜 선택을 하지 못하도록 판을 짜라는 이야기입니다. 개체를 고치는 일과 판을 고치는 일은 다릅니다.

일곱째, 같은 장면이 회사에서도 나옵니다. 부서마다 같은 모델에 비슷한 지시문을 붙여 에이전트를 돌리는 회사를 떠올려 보십시오. 세 부서가 같은 사내 시스템에 동시에 접근하고, 같은 결론을 각자 보고서에 씁니다. 검토자는 세 건의 독립된 판단을 받았다고 생각하지만, 실제로는 한 판단을 세 번 받았습니다.

통제된 실험 환경의 결과입니다. 게임 개발, 가격 경쟁, 추론 과제처럼 연구용으로 설계한 판에서 나온 수치입니다. 실제 업무 환경의 실패율을 그대로 예측하지 못합니다.

세대 차이가 매우 큽니다. 같은 실험에서 구형 모델과 최신 모델의 결과가 크게 갈렸습니다. 지금 쓰는 모델이 어느 세대인지에 따라 위험의 크기가 달라집니다.

담합 실험은 게임이론 세팅입니다. 베르트랑 가격 경쟁은 담합이 나타나기 쉬운 구조로 알려져 있습니다. 실제 시장에서 같은 일이 벌어진다는 증거로 삼기에는 이릅니다.

자사 모델을 대상으로 한 자체 연구입니다. 앤트로픽이 자사 모델을 실험 대상으로 삼았습니다. 다른 공급사 모델에서 같은 패턴이 나오는지는 별도로 확인해야 합니다.

에이전트를 늘리는 일은 사람을 늘리는 일과 다릅니다. 사람 열 명은 열 갈래로 갈라지지만, 에이전트 열 개는 한 곳으로 모입니다.

• Anthropic. (2026, August 13). Patterns and problems in emerging multiagent systems [Article]. Anthropic. (원문 보기 ↗)