같은 능력의 AI 단가는 크게 내렸지만 기업의 AI 청구서는 계속 커지고 있습니다. 맥킨지 시니어 파트너 두 명은 원인으로 사용량 증가와 에이전트를 꼽았습니다.
에이전트는 같은 작업도 실행마다 비용이 최대 30배까지 벌어집니다. 그래서 토큰 단가 대신 작업 단위로 실행 비용, 성공률, 검증 시간을 재야 합니다.
맥킨지 조사에서 응답자 80%는 AI로 개인 생산성이 올랐다고 답했습니다. EBIT 효과를 본 비율은 37%입니다. 맥킨지 파트너는 아낀 시간을 손익으로 옮기는 워크플로 재설계를 더 큰 과제로 봅니다.
토큰 단가가 내렸으니 AI 예산도 줄어들 거라 믿으셨습니까?
단가표만 보는 조직은 청구서를 받을 때마다 원인을 찾아 헤맵니다.
2023년 GPT-4가 나왔을 때 API 가격은 출력 토큰 100만 개당 60달러였습니다. 지금은 비슷한 성능의 모델을 훨씬 싼 값에 씁니다. 그런데 기업의 AI 지출은 줄지 않고 계속 늘고 있습니다.
예산을 짜는 팀장에게 단가 인하 소식은 비용 절감 신호처럼 들립니다. 실제 청구서는 반대로 움직입니다. 맥킨지 파트너들이 이 간극의 원인과 관리 방법을 설명했습니다. 다음 분기 AI 예산을 승인하기 전에 무엇을 재야 하는지 정리합니다.
맥킨지 8월 연례 보고서 'The state of AI in 2026'을 보면 에이전트 도입이 늘고 있습니다. 매출 10억 달러 이상 기업 응답자의 40%가 에이전트를 확장 중이라고 답했습니다(지난해 27%). 반면 AI가 EBIT에 조금이라도 기여했다고 답한 비율은 지난해와 거의 같았습니다. 성과는 제자리인데 사용량만 늘면 AI 운영비가 예산 회의의 첫 안건이 됩니다.
첫째, 단가가 떨어진 속도보다 사용량이 더 빨리 늘었습니다. 맥킨지의 라리 해멜래이넨(Lari Hämäläinen)은 먼저 단가 하락을 짚었습니다. 그는 "일정 능력 수준의 지능은 훨씬 저렴해지고 있다"고 말했습니다. 그런데 기업은 싸진 모델에 훨씬 많은 추론과 일을 맡깁니다. 에이전트로 작업을 자율 실행하기도 합니다. 공급사도 효율 개선분의 일부를 마진으로 가져갑니다.
소프트웨어 개발이 대표 사례입니다. 에이전트는 코드베이스 전체를 반복해 검토하고 다시 쓰면서 사람보다 훨씬 많은 코드를 만듭니다. 단가가 내려도 사용량이 그보다 빨리 늘면 청구서는 커집니다.
둘째, 에이전트는 같은 작업도 실행마다 비용이 다릅니다. 기존 소프트웨어는 실행 비용을 예측할 수 있었습니다. 에이전트는 결과에 이르는 경로가 매번 달라서, 같은 작업이 실행마다 최대 30배까지 차이 납니다. 차이의 상당 부분은 추론과 결과물을 반복해 다듬는 과정에서 생깁니다. 단일 에이전트로 갈지, 여러 에이전트로 나눌지에 따라서도 작업당 비용이 크게 달라집니다.
셋째, 토큰 단가 대신 작업 단위로 재야 합니다. 해멜래이넨은 에이전트를 작업 단위로 평가하라고 권했습니다. 기준은 회당 실행 비용, 성공률, 사람의 검증 시간입니다. 예시도 들었습니다. 사람이 1시간 걸리는 일을 에이전트에 맡기고, 그 결과를 6분 만에 검증할 수 있다고 해 봅시다. 이때는 성공률이 10%만 넘어도 가치가 생기기 시작합니다.
이 숫자를 풀면 판단 공식이 됩니다(필자 풀이). 성공한 결과 하나를 얻는 데 드는 검증 시간은 '검증 시간 ÷ 성공률'입니다. 6분에 성공률 10%면 60분으로, 사람이 직접 하는 시간과 같아집니다. 이 계산에는 에이전트 실행 비용이 빠져 있습니다. 실행 비용까지 넣으면 실제 손익분기 성공률은 이보다 높아집니다.
넷째, 개인의 체감과 회사의 손익 사이 간격이 큽니다. 맥킨지 조사(1,719명 응답)에서 업무에 AI를 쓰는 응답자 80%가 개인 생산성이 올랐다고 답했습니다. AI가 EBIT에 조금이라도 기여했다고 답한 비율은 37%입니다. EBIT의 5% 이상을 AI 덕분으로 보는 고성과 기업 비중은 6%에 그쳤습니다. 응답자 20%는 AI 운영비가 이미 활용을 제약했다고 답했습니다.
개인이 아낀 시간이 손익으로 넘어가지 않은 채 사용량만 늘면, 비용 부담이 먼저 커집니다. 해멜래이넨도 확보한 여유 시간을 실제 업무에 쓰도록 워크플로를 재설계하는 일이 더 큰 과제라고 짚었습니다. 작업 단위로 재면 두 문제를 한 표에서 볼 수 있습니다. 작업당 비용 옆에 줄어든 사람 시간과 그 시간에 새로 한 일을 적어 보세요. 어디서 비용이 손익으로 바뀌는지 보입니다.
다섯째, 비용을 줄이는 단일 레버는 없습니다. 탕기 캐틀린(Tanguy Catlin)은 "비용을 움직이는 레버는 하나가 아니다"라고 말했습니다. 그는 AI 지출 관리 영역을 세 가지로 나눴고, 무차별 삭감은 경계했습니다. AI 지출의 ROI가 가장 높은 곳을 먼저 찾고, 그 기준으로 최적화하라는 조언입니다.
| 관리 영역 | 맥킨지가 든 항목 | 먼저 볼 지표 |
|---|---|---|
| 지출 가시성 | 어떤 사용 사례, 사업부, 에이전트, 모델, 사용자가 지출을 일으키는지 파악 | 지출 상위 작업 목록과 작업별 월 비용 |
| 워크플로 최적화 | 작업 난이도에 맞는 모델 배정, 요청 라우팅, 재사용 컨텍스트 캐싱, 불필요한 툴 호출과 에이전트 반복 제한 | 작업당 평균 비용과 실행 간 편차 |
| 구매 규율 | 미사용 라이선스 정리, 사용 한도 관리, 공급사 조건 협상, 특정 모델·공급사 과의존 회피 | 활성 사용자 대비 라이선스 수, 공급사별 지출 비중 |
출처: Fortune (2026, September 23)이 전한 탕기 캐틀린 발언. 세 번째 열은 필자 정리.
API 비용과 라이선스 비용을 사용처별로 나눕니다. 열은 작업명, 담당 팀, 사용 모델, 월 비용, 월 실행 횟수 다섯 개면 충분합니다. 채우지 못한 칸이 곧 가시성이 없는 지출입니다. (반나절)
같은 입력으로 10번 실행하고 회당 비용과 성공 여부를 기록합니다. 최고 비용이 최저의 몇 배인지 보세요. 필자는 3배를 넘으면 반복 횟수와 툴 호출에 상한을 거는 것부터 권합니다. 이 숫자가 다음 분기 예산의 상단 추정치가 됩니다. (1~2일)
업무별로 사람 작업 시간과 결과 검증 시간을 적고, 손익분기 성공률을 계산합니다. 클로드나 챗GPT에 아래 프롬프트를 넣으면 초안 표가 나옵니다. (1시간)
아래는 우리 팀이 AI 에이전트에 맡기려는 업무 목록이야. 각 업무마다 다음을 표로 정리해줘. 1) 사람이 직접 할 때 걸리는 시간(분) 2) 에이전트 결과물을 사람이 검증하는 데 걸리는 시간(분) 3) 손익분기 성공률 = 검증 시간 ÷ 직접 작업 시간 4) 검증 중 오류를 놓쳤을 때의 피해 수준(상/중/하) 시간 추정이 불확실한 항목은 따로 표시하고, 내가 확인해야 할 질문을 붙여줘. [업무 목록 붙여넣기]
최근 30일간 쓰지 않은 라이선스를 뽑아 정리 대상에 올립니다. 분류, 요약 같은 단순 작업은 작은 모델을 기본값으로 두는 규칙을 IT와 합의하세요. 캐틀린이 말한 구매 규율과 워크플로 최적화의 첫 단계입니다. (이번 주)
30배는 평균이 아니라 상한입니다. 해멜래이넨은 같은 작업이 "최대 30배" 차이 날 수 있다고 말했습니다. 어떤 작업과 조건에서 측정했는지는 보도에 나오지 않습니다. 우리 회사 편차는 직접 재 봐야 압니다.
1시간 대 6분 예시는 단순화된 계산입니다. 검증자가 틀린 결과를 통과시켰을 때의 오류 비용은 빠져 있습니다. 오류 피해가 큰 업무라면 성공률 10%는 턱없이 낮은 기준입니다. 검증 시간이 짧다는 가정도 업무마다 다시 확인해야 합니다.
조사 수치는 자기 보고이며 인과를 보여주지 않습니다. 37%는 EBIT에 '조금이라도' 영향이 있었다고 답한 비율입니다. 80%의 생산성 향상도 응답자 체감입니다. 두 숫자의 간격은 측정 방식이 달라서 생겼을 수도 있습니다.
이 글은 원자료 대신 보도를 인용했습니다. 파트너 발언은 Fortune이 전한 맥킨지 라이브 세션 내용이며, 세션 원본은 확인하지 못했습니다. 조사 수치는 맥킨지 보고서를 인용한 The Register 보도 기준입니다. 맥킨지가 AI 도입 자문을 하는 회사라는 점도 감안하세요.
모델 단가는 AI 청구서를 결정하는 여러 변수 중 하나일 뿐입니다. 청구서를 통제하려면 작업 단위로 실행 비용, 성공률, 검증 시간을 재야 합니다.
토큰: AI 모델이 글을 처리하는 단위입니다. API 요금은 보통 입력·출력 토큰 100만 개당 가격으로 매깁니다.
AI 에이전트: 목표를 받으면 스스로 단계를 나누고 도구를 호출하며 작업을 끝까지 수행하는 AI 시스템입니다.
EBIT: 이자와 법인세를 빼기 전 이익입니다. 사업 자체의 수익성을 볼 때 쓰는 지표입니다.
라우팅: 요청의 난이도에 따라 작고 싼 모델과 크고 비싼 모델 중 하나로 보내는 방식입니다.
컨텍스트 캐싱: 반복해서 쓰는 지시문이나 문서를 저장해 두고 재사용해, 매번 다시 처리하는 비용을 줄이는 기법입니다.
툴 호출: 에이전트가 검색, 계산, 사내 시스템 조회 같은 외부 기능을 불러 쓰는 동작입니다. 호출이 늘수록 비용과 시간이 늘어납니다.
- Estrada, S. (2026, September 23). McKinsey: Cheaper AI models, bigger AI bills [Article]. Fortune. (원문 보기 ↗)
- Vigliarolo, B. (2026, August 25). McKinsey says enterprise AI is finally 'on the road to ROI' [Article]. The Register. (원문 보기 ↗)
- McKinsey & Company. (2026, August). The state of AI in 2026: On the road to ROI [Report]. McKinsey. (원문 보기 ↗)