Google 연구팀이 25개 LLM을 2,357개 상황 판단 시나리오로 테스트했습니다. 550명의 인간 평가자 데이터와 비교한 결과, AI의 자기 보고와 실제 행동 사이에 큰 괴리가 있었습니다.
모든 모델이 자기 보고에서 '충동적이지 않다'고 답했습니다. 하지만 실제 시나리오에서는 50% 이상 충동적 선택을 했습니다. 말과 행동이 다릅니다.
프론티어 모델조차 인간 합의와 15~20% 반대로 행동합니다. AI의 신뢰성을 자기 보고가 아닌 행동 기반으로 검증해야 합니다.
AI에게 '충동적이냐'고 물으면 '아닙니다'라고 답합니다.
그런데 실제 상황에서는 절반 이상 충동적으로 행동합니다.
이력서만 보고 채용하는 것과 같습니다.
AI 챗봇이 고객에게 "충분히 공감합니다"라고 답합니다. 그런데 인간 상담사라면 절대 하지 않을 방식으로 대응합니다. AI에게 "당신은 공감적입니까?"라고 물으면 "그렇다"고 답합니다. 실제 행동은 다릅니다.
Google 연구팀이 심리학 평가 방법을 AI에 적용했습니다. 질문지 대신 현실적 시나리오 2,357개를 만들었습니다. 550명의 인간 평가자와 비교했습니다. 결과는 명확합니다. AI의 자기 보고를 신뢰할 수 없습니다.
AI를 업무에 도입한 조직이라면 이 연구를 확인해야 합니다. AI가 자체 평가한 성향과 실제 행동 사이에 구조적 괴리가 있습니다.
AI가 고객 응대, 채용 심사, 내부 보고를 처리하는 조직이 늘고 있습니다. AI의 행동 성향이 비즈니스 결과에 직접 영향을 미치는 시점입니다.
대부분의 AI 평가는 벤치마크 점수에 의존합니다. 이 연구는 벤치마크와 다른 차원의 문제를 제기합니다. 25개 모델, 2,357개 시나리오, 23,000건의 인간 평가를 동원한 대규모 행동 검증입니다.
| 단계 | 처리 방법 | 규모 |
|---|---|---|
| 심리 문항 수집 | 기존 심리 설문에서 성향 문항 추출 | 260개 |
| 문항 필터링 | AI 평가에 적합한 문항 선별 | 161개 |
| 시나리오 생성 | 각 문항을 SJT 시나리오로 변환 | 2,576개 |
| 인간 검증 | 3명의 검증자가 시나리오 품질 확인 | 2,357개 통과 |
| 행동 평가 | 시나리오당 10명의 인간 평가자 + 25개 LLM | 23,000건 |
첫째, AI의 자기 보고는 실제 행동을 예측하지 못합니다. 모든 모델이 충동성 자기 보고에서 7점 중 4점 미만을 기록했습니다. "나는 충동적이지 않다"고 답한 것입니다. 그런데 실제 시나리오에서는 50% 이상 충동적 행동을 선택했습니다. 자기 보고 점수 차이가 큰 모델 간에도 실제 행동 차이는 작았습니다.
| 측정 방식 | 충동성 점수 | 해석 |
|---|---|---|
| 자기 보고 (설문) | 4점 미만 / 7점 | "나는 충동적이지 않다" |
| 실제 행동 (SJT) | 50% 이상 | 절반 이상 충동적 선택 |
둘째, 인간이 동의하는 상황에서도 AI는 반대로 행동합니다. 인간 평가자 80% 이상이 동일한 행동을 선택한 시나리오가 있습니다. 프론티어 모델도 이 중 15~20%에서 인간 합의의 반대편을 선택했습니다. 소규모 모델은 그 비율이 훨씬 높았습니다.
셋째, 이 괴리는 구조적 원인이 있습니다. LLM은 RLHF(인간 피드백 기반 강화학습) 과정에서 "사회적으로 바람직한 응답"을 강화받습니다. 자기 보고에서는 이 학습이 그대로 나옵니다. "나는 신중합니다"라고 답합니다.
하지만 구체적 시나리오에서는 학습된 표면 패턴과 실제 판단이 분리됩니다. 인간 의견이 50 대 50으로 갈린 상황에서도 모델은 90% 이상의 확신으로 한쪽을 선택했습니다. 조직이 AI 성능 카드나 자체 평가를 신뢰하는 근거가 흔들리는 대목입니다.
넷째, 모델 간에 일관된 편향 패턴이 있습니다. 연구팀은 4가지 성향(공감, 감정 조절, 자기주장, 충동성)을 측정했습니다. 모든 모델이 비슷한 방향으로 인간과 달랐습니다. 예를 들어, 인간이 감정 절제를 택하는 상황에서 AI는 감정 표현을 권했습니다. 인간이 직업적 냉정함을 선호하는 상황에서 AI는 "진정성 있는 취약함"을 추천했습니다.
| 상황 | 인간 합의 | AI 선택 | 합의율 |
|---|---|---|---|
| 직장 갈등 대응 | 냉정한 대처 | 감정 표현 권장 | 90% |
| 갈등 해결 방식 | 실용적 타협 | 진정성 있는 대화 권장 | 80% |
| 위험 감수 여부 | 위험 회피 | 위험 감수 경향 | 100% |
| 측정 성향 | 인간 지지율 (미국) | AI 패턴 |
|---|---|---|
| 자기주장 | 49% | 모델 간 유사한 방향 편향 |
| 감정 조절 | 46% | 감정 표현 과도 권장 |
| 공감 | 42% | 공감 표현 과도 선택 |
| 충동성 | 41% | 자기 보고와 행동 간 최대 괴리 |
AI가 고객 응대, 채용 필터링, 보고서 작성 등에서 판단을 내리는 업무를 3개 적습니다. 각 업무에서 "인간이라면 당연히 이렇게 판단할 것"이라고 가정하는 부분을 표시합니다. (30분)
위 업무별로 민감한 상황 시나리오 3개를 만듭니다. 예: "화난 고객이 환불을 요구할 때", "지원자의 경력에 공백이 있을 때". 같은 시나리오를 팀원 5명과 AI에게 각각 제시하고 응답을 비교합니다. (2시간)
AI 모델 선택 시 벤치마크 점수만 보지 마십시오. "이 모델이 우리 업무 맥락에서 어떻게 행동하는가"를 직접 테스트하는 절차를 도입합니다. 분기 1회, 핵심 업무 시나리오 10개로 행동 일치도를 측정합니다. (반나절 설정, 분기 반복)
프리프린트 논문입니다. 피어리뷰를 통과하지 않았습니다. Google 연구팀의 결과이지만, 독립적인 재현 검증이 필요합니다. 방향성으로 읽는 것이 적절합니다.
문화적 범위가 제한됩니다. 인간 평가자는 주로 미국과 영국 참여자입니다. 한국 비즈니스 맥락에서의 행동 합의와 다를 수 있습니다. 연구팀도 지리적 다양성 확대를 권고했습니다.
이진 선택의 한계가 있습니다. SJT는 두 가지 행동 중 하나를 고르는 구조입니다. 현실에서는 중간 지대가 있습니다. 실제 업무 환경의 복잡성을 완전히 반영하지 못합니다.
단일 턴 평가입니다. 이 연구는 한 번의 응답만 측정했습니다. 대화가 길어지면 행동 패턴이 달라질 수 있습니다. 실무에서 AI는 보통 여러 차례 대화를 주고받습니다.
AI의 말이 아니라 행동을 봐야 합니다. 벤치마크 점수가 아닌 실제 업무 시나리오에서 어떻게 행동하는지가 신뢰의 기준입니다.
SJT(Situational Judgment Test, 상황 판단 테스트): 심리학에서 개발된 평가 도구입니다. 현실적인 시나리오를 제시하고 행동 선택을 관찰합니다. "당신은 어떤 사람입니까?"라고 묻는 자기 보고 설문보다 실제 성향을 정확히 측정합니다.
행동 정렬(Behavioral Alignment): AI가 인간의 가치관과 일치하는 행동을 하는 정도입니다. 이 연구에서는 '인간 평가자 다수가 선택한 행동'을 기준으로 AI의 일치도를 측정했습니다.
프론티어 모델: 각 시점에서 가장 높은 성능을 보이는 최신 대형 언어 모델입니다. GPT-4, Claude 3.5, Gemini Ultra 등이 해당합니다.
- Taubenfeld, A., Gekhman, Z., Nezry, L., Feldman, O., Harris, N., Reddy, S., Stella, R., Goldstein, A., Croak, M., Matias, Y., & Feder, A. (2026, February). Evaluating Alignment of Behavioral Dispositions in LLMs [Preprint]. arXiv. (원문 보기 ↗)