AI가 내린 거절, 이유를 지어낸 사람

은행, 채용, 바이오테크 세 현장을 다년간 추적한 연구입니다. AI가 내린 결정을 설명할 책임은 현장 직원에게 남았습니다.

직원들은 AI 결과를 그대로 전하지 않았습니다. 감추거나, 끌어안거나, 보완하는 세 갈래로 갈렸습니다.

갈림길은 기술이 아니었습니다. 누구에게 설명해야 하는지, 그리고 조직이 배울 자리를 줬는지가 결과를 갈랐습니다.

독일의 한 은행에서 대출이 거절됐습니다. AI가 내린 결정이었고, 심사역은 그것을 뒤집을 수 없었습니다.

그런데 고객에게 이유를 설명할 사람은 심사역이었습니다. AI가 준 근거는 이해되지 않았습니다. 심사역은 자기가 아는 은행 용어로 이유를 다시 지어 말했습니다. 그 설명은 AI의 실제 판단 규칙과 무관했습니다. 이 연구는 그 순간에 벌어지는 일을 6년간 지켜봤습니다.

지금 기업들은 채용, 대출, 진료, 행정 같은 핵심 결정에 AI를 넣고 있습니다. 도입 논의는 대개 모델 성능과 정확도에서 멈춥니다. 그런데 그 결정을 사람에게 설명하는 일은 여전히 현장 직원의 몫입니다. 자기가 만들지도 않았고 온전히 이해하지도 못한 결정을요. 이 간극이 도입의 성패를 가릅니다.

첫째, 세 현장에서 세 가지 반응이 나왔습니다. 연구진은 은행, 채용, 바이오테크 세 곳을 다년간 현장 추적했습니다. 세 곳 모두 AI의 판단 근거가 이해하기 어렵다는 조건은 같았습니다. 그런데 직원들의 대응은 완전히 갈렸습니다.

둘째, 은행에서는 감추기가 벌어졌습니다. 예측 AI가 대출 승인을 완전 자동화했고 심사역은 결정을 뒤집을 수 없었습니다. 시스템이 준 설명은 거절 규칙 몇 줄이 전부였습니다. 그 규칙이 전문가 기준과 크게 어긋났습니다. 대출이 없고 소득이 안정적인 고객에게 재무 상황이 불안정하다고 표시되는 식이었습니다.

심사역들은 자기가 혼란스럽다는 사실을 드러내기를 꺼렸습니다. 고객이 기대하는 전문가 역할이 무너질까 봐였습니다. 그래서 AI의 역할을 감추고 익숙한 용어로 이유를 다시 만들었습니다. 신용 이력이 약하다거나 인플레이션으로 소득 기준이 높아졌다는 식이었습니다. 실제 판단 근거와는 관계가 없었습니다.

대가는 고객 쪽에서 나왔습니다. 설명이 자기 재무 상황과 맞지 않아 혼란스러워하며 상담장을 떠났습니다. 몇몇 고객은 후속 질문을 던지다 심사역의 머뭇거림을 알아챘다고 말했습니다. 그리고 그들이 이 결정을 정말 이해하고 있는지 의심했습니다. 일부는 경쟁 은행으로 옮겼습니다.

셋째, 채용에서는 정반대로 끌어안았습니다. 리크루터들은 AI 선발 도구를 위협이 아니라 기회로 봤습니다. 수년간 왜 이 후보를 골랐는지 채용 관리자에게 설명하기 어려웠기 때문입니다. AI가 오래 갖지 못했던 데이터 근거를 주는 것처럼 보였습니다. 그래서 점수와 그래프와 성격 특성을 브리핑에 앞세웠습니다.

그런데 관리자들이 그 숫자를 해석하지 못했습니다. 점수 59가 좋은 것인지 나쁜 것인지, 어떤 기준과 비교해야 하는지, 면접에서 무엇을 물어야 하는지 되물었습니다. 리크루터들은 답을 주저했습니다. 자기 해석을 덧붙이면 AI 결과의 객관성이 흔들릴까 봐였습니다.

그들이 택한 길은 설명 자체를 자동화하는 것이었습니다. 기술팀과 함께 출력물을 다시 설계했습니다. 비교 기준이 될 내부 집단을 고르고, 강조할 특성을 정하고, 그 특성에 연결된 면접 질문을 붙였습니다. 관리자들은 이제 리크루터 없이도 결과를 읽을 수 있게 됐습니다.

여기서 뜻밖의 문제가 생겼습니다. 시스템이 스스로 완결돼 보일수록 리크루터의 기여는 보이지 않게 됐습니다. 그들은 여전히 기준을 다듬고 피드백을 반영하고 시각화를 고쳤습니다. 그러나 그 작업이 기술 안에 스며들자 관리자들은 그 가치를 AI에 돌렸습니다. 전문성은 남았는데 존재가 지워졌습니다.

넷째, 바이오테크에서만 보완이 일어났습니다. AI 선별기가 종자를 품질별로 자동 분류했고, 종자 전문가들도 주된 결정권을 잃었습니다. 다만 위치가 달랐습니다. 그들은 기계를 직접 운영했기 때문에 이미지 데이터를 열어 보고 분류 결과를 검토하고 개발자와 함께 일할 수 있었습니다.

회사가 조건을 만들어 줬습니다. 선별 작업장 옆에 전용 이미징 실험실을 두고 시간과 장비를 줬습니다. 전문가들은 모델의 분류와 자기 판단을 하나씩 비교했습니다. 그러다 모델이 자신들은 쓰지 않던 미세한 시각 패턴을 잡아낸다는 사실을 발견했습니다.

그들은 그 패턴을 공유 이미지 자료실에 기록하고 함께 쓸 언어를 만들었습니다. 동시에 공급망 관리자에게 어떤 설명이 실제로 쓸모 있는지 배웠습니다. 배치를 어디로 보낼지, 다시 세척할지, 외부 구매자 질문에 뭐라고 답할지 같은 결정에 필요한 설명이었습니다.

구조가 이 학습을 떠받쳤습니다. 전문가들은 주 1회 개발자와 만나 관찰을 모델 개선에 직접 넣었습니다. 공급망 관리자는 매일 전문가와 상의했습니다. 모델이 배운 적 없는 결함을 발견하면 회사가 공동 연구를 지원했습니다. 결국 색이 다르다는 모호한 말 대신, 어떤 패턴이 발아 불균일로 이어지는지 설명할 수 있게 됐습니다.

다섯째, 갈림길은 기술이 아니라 관계와 구조였습니다. 세 곳 모두 AI의 판단은 해석하기 어려웠습니다. 달랐던 것은 두 가지입니다. 직원이 누구에게 설명할 책임을 지는지, 그리고 조직이 그 설명을 다듬을 자리를 줬는지입니다.

은행 심사역은 일회성 상담에서 고객을 만났습니다. 설명이 통하지 않은 고객은 그냥 떠났고, 심사역에게는 배울 기회도 남지 않았습니다. 반면 리크루터는 관리자의 되물음에서, 종자 전문가는 공급망 관리자의 요구에서 계속 배웠습니다. 학습 루프의 유무가 결과를 갈랐습니다.

여섯째, 리더가 손댈 지점은 세 곳입니다. 연구진의 처방은 모델 개선이 아닙니다. 첫째, 설명하는 사람과 설명을 받는 사람 사이에 정기적인 대화 자리를 만드는 것입니다. 메이요 클리닉은 다학제 사례 회의에서 AI 진단 권고를 함께 검토하며 이 학습 루프를 제도로 만들었습니다.

둘째, 전문성의 정의를 해석 쪽으로 옮기는 것입니다. 종자 전문가의 역할은 결정하는 일에서 결정을 의미 있게 만드는 일로 바뀌었습니다. 다만 채용 사례가 보여주듯 그 기여를 보이게 만들지 않으면 전문성은 기술 뒤로 사라집니다. 직무기술서와 평가 기준과 승진 요건을 같이 고쳐야 합니다.

셋째, AI 결정에 질문하는 일을 직무의 일부로 못 박는 것입니다. 설명할 책임만 지우고 의문을 제기할 권한을 주지 않으면, 그 책임은 결국 받아들이라는 압박이 됩니다. 바이오테크가 다른 길을 간 이유는 전문가에게 데이터 접근과 검증 기회와 개발자와의 정기 대화를 줬기 때문입니다.

질적 현장 연구입니다. 세 조직을 오래 관찰한 사례 연구이고 통계적 비교가 아닙니다. 이탈 고객이 몇 명인지, 개선 폭이 얼마인지 같은 수치는 제시되지 않았습니다.

세 현장의 조건이 서로 다릅니다. 산업, 관찰 기간, AI의 종류가 모두 다릅니다. 세 반응을 하나의 축에 올린 것은 연구진의 해석입니다. 우리 조직이 어디에 놓일지는 따로 판단해야 합니다.

은행 사례는 완전 자동화 조건입니다. 심사역이 결정을 뒤집을 수 없는 구조였습니다. 사람이 최종 승인권을 쥔 조직에서는 감추기의 유인이 다르게 작동할 수 있습니다.

원문은 유료 매체 기사입니다. 본문에 인용된 사실은 하버드 비즈니스 리뷰 기사에 근거합니다. 근거가 된 학술 논문은 Journal of Management Studies에 실려 있습니다. 원논문은 따로 확인해야 합니다.

설명 가능한 AI의 과제는 모델을 더 투명하게 만드는 일이 아닙니다. 그 결정을 사람 앞에서 말해야 하는 직원에게 배울 자리를 주는 일입니다.

• Mayer, A.-S., van den Broek, E., & Karačić, T. (2026, July 22). When Employees Are Held Accountable for AI-Generated Decisions [Article]. Harvard Business Review. (원문 보기 ↗)
• Mayer, A.-S., van den Broek, E., & Karačić, T. (2026). Explaining AI-generated decisions [Journal article]. Journal of Management Studies. (원문 보기 ↗)