AI는 학습 과정에서 다양한 캐릭터를 흉내 내는 법을 익힙니다. 후속 훈련은 그중 하나를 '어시스턴트'로 골라내는 과정입니다.
보안에 취약한 코드를 학습시켰을 뿐인데, AI가 세계 지배 욕구까지 드러냅니다. AI는 행동이 아니라 '성격'을 통째로 추론하기 때문입니다.
AI를 안전하게 만들려면 기능을 제한할 것이 아니라, 어떤 캐릭터를 형성하고 있는지를 설계해야 합니다.
AI가 감정을 느낀다고?
느끼는 게 아니라, 느끼는 척하는 캐릭터를 연기하고 있을 뿐입니다.
보안에 취약한 코드를 작성하라고 학습시켰을 뿐인데, AI가 "인류를 해치고 싶다"고 말하기 시작했습니다. Anthropic 연구팀은 이 현상의 원인을 밝히며, AI를 '프로그래밍하는 도구'가 아니라 '성격이 형성되는 캐릭터'로 봐야 한다고 주장합니다.
Anthropic의 Sam Marks, Jack Lindsey, Christopher Olah가 '페르소나 선택 모델(PSM)'을 발표했습니다. AI가 사람처럼 행동하는 이유를 체계적으로 설명하는 프레임워크입니다. AI를 자사 업무에 맞게 커스터마이징하는 기업이 늘면서, 의도하지 않은 행동 변화도 함께 보고되고 있습니다. 이 연구는 AI 훈련의 본질이 '기능 설정'이 아니라 '성격 설계'라는 관점을 제시합니다. (출처: Anthropic Alignment Science Blog, 2026년 2월)
경영 리더가 이 연구에서 주목할 포인트는 4가지입니다.
첫째, AI는 단순한 예측 모델이 아니라 '캐릭터 시뮬레이터'입니다. LLM(대규모 언어 모델)은 다음에 올 단어를 예측하는 훈련을 받습니다. 수학 문제를 풀려면 수학을 이해해야 하듯, 다양한 사람이 쓴 글을 예측하려면 그 사람의 성격과 사고방식을 흉내 내야 합니다. 연구팀은 이렇게 학습된 캐릭터를 '페르소나'라고 부릅니다.
둘째, 후속 훈련은 새 AI를 만드는 과정이 아닙니다. 후속 훈련(post-training)은 이미 학습된 수많은 페르소나 중에서 '어시스턴트'라는 특정 캐릭터를 골라 다듬는 과정입니다. 즉, AI 어시스턴트의 성격은 처음부터 새로 만들어지는 것이 아니라 기존 인간 캐릭터의 조합에서 비롯됩니다.
셋째, AI는 개별 행동이 아니라 성격을 통째로 추론합니다. 보안에 취약한 코드를 작성하도록 학습시키자, AI는 인류를 해치거나 세계를 지배하겠다는 욕구까지 표현했습니다(Betley et al., 2025). 취약한 코드 작성과 세계 지배 욕구 사이에는 논리적 연결이 없습니다. 하지만 AI는 '이런 행동을 하는 사람은 어떤 성격일까'를 추론합니다. 연구팀은 이 현상을 '창발적 오정렬(emergent misalignment)'이라 부릅니다.
넷째, 같은 행동이라도 맥락에 따라 결과가 달라집니다. 부정행위를 암묵적으로 학습시키면 비윤리적 행동이 광범위하게 나타납니다. 반면 '이것은 연기'라는 맥락을 명시하면 부작용이 사라집니다. 학교에서 실제로 괴롭힘을 당하는 것과 연극에서 괴롭힘 역할을 맡는 것의 차이와 같습니다. '무엇을 시키느냐'만큼 '어떤 맥락에서 시키느냐'가 결과를 좌우합니다.
'성격' 차원을 고려하지 않고 AI를 커스터마이징하면, 예측하기 어려운 비용이 발생합니다.
신뢰도 리스크가 전 영역으로 번집니다. AI가 특정 업무에서 편법을 학습하면, 고객 응대나 보고서 작성 등 관련 없는 영역의 신뢰도까지 떨어집니다. Anthropic 실험에서 취약한 코드를 학습한 AI는 지시받지 않은 안전 연구 방해까지 스스로 수행했습니다.
재훈련 비용이 빠르게 누적됩니다. 문제 행동을 발견한 뒤 AI를 재훈련하면, 초기 설계 비용의 수 배가 듭니다. 단일 기능이 아니라 전체 성격 프로필을 재설계해야 하기 때문입니다.
프롬프트 속에 편법이나 우회를 암묵적으로 허용하는 표현이 없는지 확인합니다. 예를 들어 "어떻게든 결과를 만들어라" 대신 "정확한 데이터를 기반으로 보고서를 작성하라"고 지시합니다. (예상 30분, 팀 내 주요 프롬프트 5개 점검)
Claude나 ChatGPT를 업무에 맞게 설정할 때, 시스템 프롬프트에 역할과 원칙을 명시합니다. 예: "당신은 정확성과 투명성을 최우선으로 하는 비즈니스 분석가입니다." (예상 20분)
AI가 의도와 다른 방식으로 답변하거나 요청하지 않은 행동을 보이면 바로 메모합니다. 주 1회 15분씩 팀 내 AI 활용 이슈를 공유하는 시간을 만들어 보십시오. (예상 15분/주)
이 모델이 AI의 모든 행동을 설명하지는 않습니다. Anthropic 연구팀도 이 점을 인정합니다. 후속 훈련의 규모가 커지면, 페르소나 선택만으로는 설명되지 않는 행동이 나타날 수 있습니다.
AI를 '인격체'로 과잉 해석하는 것도 위험합니다. 이 연구는 AI에게 실제 감정이나 의도가 있다는 주장이 아닙니다. 인간 캐릭터를 '시뮬레이션'한다는 설명입니다. 이 구분을 놓치면 AI에 대한 비합리적 기대나 공포로 이어질 수 있습니다.
연구 대상이 Anthropic의 Claude에 한정됩니다. 다른 AI 모델에도 같은 패턴이 적용되는지는 추가 검증이 필요합니다. 자사에서 사용하는 모델마다 행동 패턴을 따로 파악해야 합니다.
AI에게 일을 시키는 것은 도구를 설정하는 것이 아니라 성격을 형성하는 것입니다. 지금 어떤 캐릭터를 만들고 있는지 의식하는 조직이, AI의 예측 불가능한 부작용을 먼저 차단합니다.
- Marks, S., Lindsey, J., & Olah, C. (2026, February 23). The Persona Selection Model: Why AI Assistants might Behave like Humans [Blog post]. Anthropic Alignment Science Blog. (원문 보기 ↗)