AI 70개에게 같은 질문을 던졌더니, 답은 2가지뿐이었다 썸네일

AI 70개에게 같은 질문을 던졌더니, 답은 2가지뿐이었다

NeurIPS 2025 Liwei Jiang, Yejin Choi 외 (워싱턴대·스탠퍼드·CMU·AI2) Artificial Hivemind: The Open-Ended Homogeneity of Language Models ↗

70개 넘는 AI에 같은 질문을 던지면, 같은 AI는 10번 중 8번 거의 똑같은 답을 냅니다.

다른 회사 AI끼리도 답이 71~82% 겹칩니다. 어떤 모델은 문장까지 똑같습니다.

"AI 여러 개 쓰면 다양한 아이디어가 나온다"는 생각은 틀렸습니다.

AI에게 창의적 아이디어를 기대한다고?
70개 모델이 같은 답을 하고 있습니다.

"시간에 대한 비유를 써 줘." 연구팀이 이 질문을 여러 AI에 각각 50번씩 물었습니다. 답은 수천 개가 나왔지만, 내용은 딱 2가지로 모였습니다. "시간은 강이다"와 "시간은 직조공이다." 70개 넘는 AI가 전부 비슷한 말을 한 겁니다. (출처: Jiang et al., NeurIPS 2025)

많은 회사가 AI로 아이디어를 뽑아냅니다. 워싱턴대·스탠퍼드·CMU 공동 연구팀이 실제 사용자 질문 26,000개와 AI 모델 70개 이상을 분석했습니다. 결과는 놀라웠습니다. 정답이 없는 열린 질문에서 AI들이 내놓는 답이 판에 박은 듯 비슷했습니다. 연구팀은 이 현상을 '인공 집단지성(Artificial Hivemind)'이라 불렀습니다. 논문 본문에서 25개 모델을 깊이 파고들었고, 부록까지 합치면 총 70개 이상을 테스트했습니다. (출처: NeurIPS 2025, arXiv:2510.22954)

리더가 눈여겨볼 점은 3가지입니다.

첫째, 같은 AI에 여러 번 물어봐야 답은 같습니다. 연구팀이 25개 모델에 열린 질문 100개를 각각 50번 던졌습니다. 10번 중 8번은 같은 AI가 거의 똑같은 답을 냈습니다. 아무 답이나 무작위로 짝지으면 겹치는 정도가 10~20%인 것과 비교하면, 차이가 큽니다. 창의성을 높이려고 온도(temperature) 설정을 최대로 올려도 결과는 비슷했습니다.

둘째, 다른 회사 AI끼리도 같은 말을 합니다. GPT-4o, DeepSeek-V3, Qwen, Llama 등 만든 곳이 다른 AI들의 답이 71~82% 겹쳤습니다. 심지어 어떤 모델 쌍은 문장이 글자 단위로 같았습니다. Qwen의 두 모델이 "Empower Your Journey: Unlock Success, Build Wealth, Transform Yourself"라는 모토를 한 글자도 안 바꾸고 똑같이 만들어 낸 사례가 있습니다.

셋째, 사람들의 취향은 다양한데, AI는 그걸 못 따라갑니다. 연구팀이 사람 평가 31,250건을 모았습니다. 같은 질문에 대해 평가자 25명의 의견이 크게 엇갈리는 경우가 많았습니다. 그런데 AI는 이런 의견 차이를 반영하지 못했습니다. 사람이 "둘 다 좋다"고 한 답변에 대해서도, AI는 한쪽에만 높은 점수를 줬습니다.

AI가 비슷한 답만 내놓는 현상은 회사의 판단력에 직접 영향을 줍니다.

"다양한 의견을 들었다"는 착각의 대가. "AI 여러 개에 동시에 물어보면 다양한 시각을 확보할 수 있다"는 생각은 데이터로 부정됩니다. 가장 비슷한 답 50개를 뽑으면, 평균 8개 이상의 서로 다른 AI에서 나온 답이 섞여 있습니다. AI를 바꿔도 사실상 같은 답을 받고 있을 가능성이 높습니다.

AI에 기대는 조직은 생각이 좁아집니다. 2024년 연구에 따르면, AI는 개인의 창의성은 높이지만 팀 전체의 아이디어 가짓수는 줄입니다. (Doshi & Hauser, Science Advances, 2024) 비슷한 AI 결과물을 계속 보면, 조직 전체가 같은 방향으로만 생각하게 됩니다.

1
AI가 낸 아이디어는 '초안'으로만 씁니다.
AI 결과물은 최종 후보가 아니라 출발점입니다. 팀원 각자가 자기 경험을 더해 바꾸는 단계를 넣습니다. (예상 10분, 기존 회의에 1단계 추가)
2
같은 질문을 반복하지 말고, 질문을 바꿉니다.
같은 프롬프트를 10번 돌려도 비슷한 답이 나옵니다. 대신 "고객 입장에서", "경쟁사 입장에서", "5년 뒤를 상상하면" 같은 식으로 질문 자체를 바꿉니다. (예상 15분)
3
"AI 여러 개 = 다양한 관점"이 아닙니다. 팀에 알립니다.
AI끼리 답이 71~82% 겹칩니다. "GPT와 Claude 둘 다 같은 말을 하니 맞겠지"라는 판단은 위험합니다. 진짜 검증은 사람이 해야 합니다. (예상 5분, 팀 슬랙 메시지)
4
중요한 결정에는 AI 말고 다른 정보도 꼭 넣습니다.
고객 인터뷰, 현장 관찰, 업계 전문가 의견 등 AI가 모르는 생생한 정보를 의사결정에 포함하는 절차를 만듭니다. (예상 1시간, 절차 설계)

이 연구는 영어 질문에만 해당됩니다. 실험에 쓴 데이터셋은 영어 질문입니다. 한국어로 물었을 때도 같은 결과가 나오는지는 아직 확인되지 않았습니다.

왜 AI 답이 비슷한지, 원인은 아직 모릅니다. 학습 데이터가 겹치기 때문인지, 사람 피드백으로 맞추는 과정 때문인지, AI가 만든 데이터로 다시 학습하기 때문인지 여러 가설이 있습니다. 아직 뚜렷한 답은 없습니다.

AI를 쓰지 말라는 뜻이 아닙니다. 초안 잡기, 정보 정리, 반복 업무에 AI는 여전히 쓸모가 큽니다. 문제는 '새로운 아이디어 찾기'를 AI에만 맡기는 것입니다.

AI를 여러 개 돌려도 다양한 생각은 나오지 않습니다. 진짜 다양성은 사람에게서 나옵니다.

창업자 AI 아이디어는 결론이 아니라 출발점이다. 이걸 당연한 규칙으로 만들어라
팀장 AI 브레인스토밍 뒤에 팀원이 자기 경험을 더하는 단계를 꼭 넣어라
임원 "AI 2개가 같은 말을 하니 맞겠지"라는 습관을 고쳐라. 검증은 사람이 해야 한다
  • Jiang, L., Chai, Y., Li, M., Liu, M., Fok, R., Dziri, N., Tsvetkov, Y., Sap, M., Albalak, A., & Choi, Y. (2025). Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) [Conference paper]. NeurIPS 2025. arXiv:2510.22954.
  • Doshi, A. R., & Hauser, O. P. (2024). Generative AI enhances individual creativity but reduces the collective diversity of novel content [Article]. Science Advances, 10(28).
  • Anderson, B. R., Shah, J. H., & Kreminski, M. (2024). Homogenization effects of large language models on human creative ideation [Conference paper]. Proceedings of the 16th Conference on Creativity & Cognition. (원문 보기 ↗)
라운드테이블
R
레드 · 저널리스트
70개 AI에 같은 질문을 던졌더니 답이 71~82% 겹친다는 게, 이게 진짜 "창의성이 없다"는 증거예요? 아니면 단순히 비슷한 데이터로 훈련했다는 거 아닌가요?
N
네이비 · 시니어 엔지니어
같은 질문을 하나의 AI에 50번 던졌을 때 79% 확률로 동일한 답이 나왔어요. 이건 학습 데이터 문제가 아니라 샘플링 메커니즘 자체의 수렴 현상입니다. temperature 최대로 올려도 결과가 비슷하다는 게 논문에 나와 있고요.
R
레드 · 저널리스트
그럼 Qwen 두 모델이 문장을 한 글자도 안 바꾸고 똑같이 만들어낸 건 어떻게 설명해요? 수렴이 아니라 복사 수준인데, 이걸 창의적 도구라고 계속 쓸 수 있는 건지 묻고 싶은 거예요.
N
네이비 · 시니어 엔지니어
초안 작성, 정보 정리, 반복 업무에는 여전히 씁니다. "창의성 도구"라고 부르는 사람이 문제인 거지, AI 자체가 문제는 아니에요.
B
블랙 · 중견기업 임원
"GPT랑 Claude가 같은 말을 하니까 맞겠지"라는 판단, 우리 조직에서 하루에도 몇 번씩 나옵니다. 이 연구 결과가 그 습관이 얼마나 위험한지를 딱 보여줘요. AI 2개가 동의해도 그건 검증이 아니에요.
G
골드 · 창업자
저도 솔직히 그랬어요. GPT한테 물어보고 Claude한테도 물어보고, 둘이 비슷하면 그냥 믿었는데요. 근데 생각해보면 둘 다 같은 인터넷 데이터로 훈련됐으니 당연한 거잖아요. 이 연구 보고 나서 팀에 바로 공유했어요.
B
블랙 · 중견기업 임원
팀에 공유하는 게 맞아요. 그런데 공유로 끝내면 안 됩니다. "AI 아이디어는 초안이다"를 팀 규칙으로 만드는 게 다음 단계예요.
W
화이트 · 조직장
그러면 팀 브레인스토밍에 AI를 쓰지 말라는 거예요? 위에서는 AI 적극 활용하라 하고, 이 글은 AI 아이디어가 다 비슷하다 하고. 저는 어떻게 쓰라는 건지 모르겠어요.
P
퍼플 · 마케터
AI는 공통 답안을 빠르게 제시해주는 도구예요. 브레인스토밍 시간의 절반을 줄여주는 느낌? 근데 그게 끝이에요. 나머지 절반은 팀원들이 "우리 고객이라면"이라는 질문으로 채워야 해요.
R
레드 · 저널리스트
퍼플님, 그 "절반을 줄여준다"는 것도 검증된 수치예요? 논문에는 AI가 개인 창의성은 높이지만 팀 전체 아이디어 가짓수는 줄인다고 나와 있어요(Doshi & Hauser, 2024). 쓰면 쓸수록 팀 다양성이 낮아질 수 있어요.
_posts/2025-10-27-artificial-hivemind.md