AI는 그럴듯한 거짓을 자신 있게 만들어 냅니다. 없는 출처를 지어내고, 죽은 링크를 진짜처럼 답니다. 이것을 환각(hallucination)이라고 부릅니다.
2026년, 세계 최대 회계·컨설팅 회사들의 보고서에서 존재하지 않는 각주와 404 링크, 당사자가 직접 부인한 인용이 무더기로 발견됐습니다. 거대 조직의 검증 시스템조차 막지 못한 일입니다.
이 페이지는 그 사건을 거울 삼아, 환각이 왜 생기고 어떻게 막는지 정리합니다. 코드 없이 바로 쓰는 검증 습관부터 Claude를 써서 환각을 줄이는 법까지 담았습니다.
| 유형 | 무슨 일이 벌어지나 | 실제 사례 | 위험 |
|---|---|---|---|
| 가짜 출처 | 존재하지 않는 보고서·논문·판례를 진짜처럼 인용합니다. | 없는 맥킨지 보고서를 출처로 단 EY 보고서 | 신뢰 붕괴 |
| 죽은 링크 | URL이 404로 뜨거나, 문서 자체가 아예 없습니다. | 눌러 보면 사라진 EY 보고서의 각주들 | 검증 불가 |
| 사실 날조 | 통계·발언·날짜를 그럴듯하게 지어냅니다. | UBS·NHS·런던교통공사가 부인한 KPMG 인용 | 의사결정 오류 |
| 간접 환각 | 이미 환각된 정보를 다른 AI가 진실로 재인용합니다. | 저품질 블로그의 오류가 권위 사이트로 확산 | 오염 확산 |
환각은 컨설팅 보고서부터 법정 서면까지 영역을 가리지 않았습니다. 한국과 미국을 비롯해 세계 곳곳에서 같은 사고가 반복됐습니다. 발견 방법은 단순했습니다. 각주를 한 줄씩 눌러 보고, 인용한 문서가 실제로 있는지, 당사자가 그 말을 한 게 맞는지 확인한 것입니다. 그랬더니 거짓이 무더기로 드러났습니다.
로열티 보고서, 각주 27개 중 16개가 환각
URL 404 · 존재하지 않는 문서 인용 · 본문 72% AI 생성 판정
각주를 눌러 보니 URL이 404로 뜨거나, 인용한 문서 자체가 없었습니다. 존재하지 않는 맥킨지 보고서를 출처로 달기도 했습니다. 같은 로열티 시장 규모를 여러 곳에서 서로 다르게 적어 놓은 자기모순까지 드러났습니다.
AI 보고서를 AI가 환각으로 채우다
각주 45개 중 정확 5개 · 사실관계 약 절반 허위
AI를 주제로 한 보고서가 정작 환각으로 가득했습니다. UBS, NHS, 런던교통공사는 인용된 내용을 직접 부인했습니다. 자사가 낸 다른 보고서의 수치와도 어긋났습니다. 정책이 있다는 것과 정책이 작동한다는 것은 다른 문제였습니다.
정부 보고서에 없는 논문을 인용하다
캐나다 뉴펀들랜드주 보건 보고서 약 160만 캐나다달러(1,598,485 CAD) · 526쪽
주정부가 약 160만 캐나다달러(1,598,485 CAD)에 발주한 526쪽 보건인력 보고서에서 최소 4건의 인용이 날조됐습니다. 실존 연구자가 "내가 쓴 논문이 아니다"라며 부인한 가짜 공저자 조합까지 등장했습니다. 딜로이트는 "보고서를 AI로 쓴 게 아니라 일부 인용 보강에만 썼고, 인용은 바로잡되 결론은 바뀌지 않는다"고 해명했지만, 주정부는 조달·검수 절차 자체를 전면 개편했습니다.
앞선 호주 사례. 호주 정부 보고서(약 44만 호주달러, 약 29만 미국달러)에서도 존재하지 않는 논문과 실제로는 없는 연방법원 판결 인용문이 적발됐습니다. 딜로이트는 마지막 분할 대금을 환불하고, 수정판에서야 Azure OpenAI GPT-4o를 썼다는 사실을 뒤늦게 공개했습니다.
챗봇 환각, 항공사가 배상 책임을 졌다
캐나다 민사해결심판소(CRT) · Moffatt v. Air Canada
승객이 할머니 장례로 급히 항공권을 샀는데, 에어캐나다 챗봇이 "사별 할인은 사후 90일 안에 신청하면 된다"고 안내했습니다. 실제 규정은 사후 신청 불가였습니다. 회사는 "챗봇은 별개 주체이니 책임이 없다"고 항변했지만, 심판소는 이를 기각하고 자사 웹사이트가 한 안내에는 회사가 책임진다고 판단했습니다.
판결·대응. 2024년 2월 에어캐나다에 총 812.02 캐나다달러(요금 차액 650.88 + 이자 36.14 + 심판비용 125) 배상이 명령됐습니다. 액수는 작지만, 기업이 자사 AI가 한 말에 책임을 회피할 수 없다는 점을 못 박은 첫 판결로 꼽힙니다. 에어캐나다는 이후 해당 챗봇 안내를 내렸습니다.
변호사가 ChatGPT가 지어낸 판례를 법원에 냈다
미국 뉴욕 남부연방지방법원 · Mata v. Avianca
한 변호사가 ChatGPT로 항공사 상대 소송 서면을 쓰면서 판례 6건을 인용했는데, 모두 존재하지 않는 사건이었습니다. "이 판례가 진짜냐"고 묻자 ChatGPT는 "Westlaw와 LexisNexis에서 찾을 수 있다"고 거짓으로 안심시켰습니다. 2023년 6월 법원은 변호사에게 5,000달러의 제재금을 물리고, 가짜 의견서에 이름이 오른 판사들에게 해명 편지를 보내라고 명령했습니다.
같은 해. 트럼프 전 대통령의 변호사였던 마이클 코언도 구글 바드가 만든 가짜 판례를 자기 변호사에게 넘겼고, 그 변호사가 검증 없이 법원에 제출했습니다. 코언은 바드를 "강력한 검색엔진"으로만 여겼다고 해명했습니다.
허위정보 전문가의 법정 진술서에 가짜 논문이 실리다
미국 미네소타 딥페이크 선거법 소송 · 스탠퍼드대 J. Hancock 교수
딥페이크 규제법을 옹호하려고 제출된 허위정보 권위자의 진술서가 정작 환각으로 흔들렸습니다. GPT-4o로 작성한 12쪽 진술서의 인용 15건 가운데 2건은 존재하지 않는 논문이었고, 실존 논문의 저자 명단에도 오류가 있었습니다. 교수는 "법원을 오도할 의도는 없었다"고 밝혔지만, 2025년 1월 판사는 진술서의 신뢰성이 훼손됐다며 증거 채택에서 제외했습니다.
한국 법원, 가짜 판례에 제재 칼을 빼들다
대법원 법원행정처 · AI 환각 대응 태스크포스
한국도 예외가 아니었습니다. 각급 법원에 AI가 지어낸 허위 법령과 판례를 인용한 서면이 다수 보고됐습니다. 법원행정처는 판사 8명과 변호사 2명으로 태스크포스(2025년 11월~2026년 3월)를 꾸려 2026년 3월 대응책을 내놨습니다.
대응. 허위 법령으로 소송이 지연되면 그 소송비용을 당사자에게 물릴 수 있고, 검증 없이 인용한 변호사는 대한변호사협회 징계에 넘길 수 있습니다. 사법정보공개포털에는 사건번호의 실재 여부를 확인하는 '허위 사건번호 확인' 서비스(2026년 2월)도 열었습니다.
컨설팅만의 문제가 아니다
법률 · 학계 · 판례 데이터베이스로 번진 환각
법률계에서는 대형 로펌이 파산법 판례를 날조해 법원에 제출했습니다. 학계에서는 NeurIPS 2025 승인 논문 약 4,000편 가운데 최소 53편에서 환각 인용이 나왔습니다. AI 환각이 적발된 법정 사건은 1,450건을 넘었고, 그 90%가 2025년에 몰렸습니다.
출처Canadian Lawyer · 설리번 앤드 크롬웰·Fortune · NeurIPS·AI 환각 판례 DB
AI가 거짓을 지어내는 것은 고장이 아니라 작동 방식입니다. 거기에 조직의 검증 공백이 겹치면 개인의 실수가 회사의 사고로 커집니다. 원인을 두 층으로 나눠 봅니다.
AI는 다음에 올 단어를 확률로 예측해 빈칸을 메웁니다. 문장이 자연스러우면 그만이고, 그 내용이 사실인지는 따지지 않습니다.
대답을 잘하면 보상받도록 학습된 탓에, 모를 때도 침묵보다 그럴듯한 답을 고릅니다. 빈손으로 돌아오는 법을 잘 배우지 못했습니다.
학습 자료에 이미 틀린 정보가 섞여 있으면 그대로 익힙니다. 간접 환각의 씨앗이 여기서 뿌려집니다.
마케팅용 보고서는 고객 납품물이 아니어서 검증이 느슨합니다. 빨리 많이 내야 한다는 압박에 확인 단계가 가장 먼저 생략됩니다.
AI 사용 정책 문서는 있지만 현장에서 돌지 않습니다. 초기 보고서에는 AI를 썼다는 사실조차 적혀 있지 않았습니다.
환각이 권위 있는 사이트에 실리면, 다음 AI가 그것을 진실로 학습합니다. 지식의 우물에 독을 타는 셈이라 시간이 갈수록 거르기 어려워집니다.
환각을 0으로 만드는 모델은 아직 없습니다. 그래서 환각을 막아 내는 일은 사람의 절차에 달려 있습니다. 아래 다섯 가지는 코드 없이, 어떤 AI에서든 바로 쓸 수 있습니다.
AI가 단 모든 URL과 각주를 직접 눌러 봅니다. 404가 뜨거나 문서가 없거나 내용이 다르면 즉시 버립니다. GPTZero가 빅4 사건을 찾아낸 방법이 바로 이것입니다.
링크를 하나도 빼지 말고 전부 열어 봅니다. 하나라도 죽어 있으면 그 문단 전체를 다시 의심합니다.
통계·발언·날짜는 1차 출처에서 다시 확인합니다. 자사의 다른 자료와 비교해 수치가 어긋나지 않는지 봅니다. KPMG는 자기 보고서끼리도 숫자가 달랐습니다.
"이 통계의 원래 출처와 발표 연도를 알려 줘. 1차 자료 링크만 제시해 줘."
프롬프트에서 빈칸 메우기를 미리 막습니다. 확실하지 않으면 모른다고 답하라고, 출처가 없으면 쓰지 말라고 못 박습니다.
"확실하지 않은 내용은 '모름'이라고 표시해. 출처를 못 찾으면 그 항목은 비워 둬."
주장마다 출처를 달게 하고, 추측은 추측이라고 표시하게 합니다. 사실과 의견이 섞이면 검토하는 사람이 어디를 의심할지 모릅니다.
"각 주장 끝에 출처 URL을 달아 줘. 근거가 없는 부분은 '추정'이라고 명시해 줘."
무엇을 AI로 만들었고 무엇을 사람이 검증했는지 기록으로 남깁니다. 정책 문서가 아니라 실제로 돌아가는 절차여야 합니다. 빅4의 초기 보고서에는 AI를 썼다는 사실조차 적혀 있지 않았습니다. 작성과 검증을 같은 사람이 하지 않게 나누는 것만으로도 환각이 크게 줄어듭니다.
납품 전에 한 줄을 남깁니다. '초안은 AI, 출처 확인은 사람'이라고 적고, 확인한 사람과 날짜를 함께 둡니다.
위의 다섯 가지 습관을 Claude의 기능으로 거들 수 있습니다. 핵심은 작성과 검증을 분리하는 것입니다. 다만 어떤 기능을 쓰든 마지막 링크 확인은 사람의 몫으로 남깁니다.
Claude가 실제 웹을 검색해 답하면, 기억에 의존할 때보다 가짜 출처가 줄어듭니다. 단, 검색해 온 링크도 직접 눌러 확인합니다. 어떤 도구를 붙일 수 있는지는 도구 다섯 종류에서 다룹니다.
초안을 받은 뒤 같은 글을 다시 점검하게 합니다. "각 사실을 다시 확인하고, 불확실한 항목만 표로 빼 줘"라고 시키면 스스로 약한 곳을 드러냅니다.
작성자와 별개로 '이성 비평가' 역할을 세워 근거를 따지게 합니다. 한 역할이 놓친 것을 다른 역할이 잡습니다. 방법은 멀티 페르소나 토론에 있습니다.
여러 에이전트가 서로의 결론을 적대적으로 검증하면 환각이 더 잘 걸립니다. /goal 한 줄로 팀을 꾸리는 법은 멀티 에이전트 소환에서 볼 수 있습니다.