Anthropic이 Advisor Strategy를 공개했습니다. Opus가 조언자, Sonnet과 Haiku가 실행자 역할을 맡는 설계입니다.
Haiku는 BrowseComp 점수가 19.7%에서 41.2%로 2배 이상 뛰었습니다.
Sonnet은 SWE-bench 점수가 오르면서 작업당 비용은 11.9% 줄었습니다.
비싼 Opus를 모든 요청에 쓰고 있습니까?
Anthropic은 최고 모델을 조언자로만 붙였더니 Haiku 점수가 2배가 됐습니다.
AI 에이전트를 쓸수록 토큰 비용이 불어납니다. 가장 똑똑한 모델을 모든 단계에 쓰기 때문입니다. Anthropic이 다른 방법을 공개했습니다. 값싼 모델이 실행하고, 비싼 모델은 어려운 결정에만 끼어듭니다. 비용은 내려가는데 점수는 오릅니다(Anthropic, 2026).
기업이 AI 에이전트를 운영에 투입하고 있습니다. 문제는 비용입니다. 프론티어 모델은 토큰당 단가가 높습니다. 값싼 모델만 쓰면 복잡한 작업에서 실패합니다. Anthropic이 Advisor Strategy로 두 문제의 해법을 제시했습니다(Anthropic, 2026).
첫째, 역할을 실행자와 조언자로 나눕니다. Sonnet이나 Haiku가 실행자가 돼 작업을 처음부터 끝까지 돌립니다. 도구를 호출하고, 결과를 읽고, 다음 행동을 고릅니다. 여기서 말하는 "어려운 결정"은 단순 오류가 아닙니다. 경로 선택, 아키텍처 판단, 전략 변경 같은 구조적 결정입니다. 실행자가 막히면 Opus를 조언자로 호출합니다(Anthropic, 2026). 조언자는 맥락을 읽고 지시나 중단 신호만 돌려줍니다.
둘째, 조언자는 도구를 직접 쓰지 않습니다. Opus는 실행자의 맥락을 공유받되 자기가 도구를 호출하거나 사용자에게 응답하지 않습니다. 전체 주고받기는 단일 /v1/messages API 요청 안에서 끝납니다(Anthropic, 2026). 실행자와 조언자의 토큰 사용량은 각자 단가로 따로 청구됩니다. 개발팀은 max_uses 값으로 조언자 호출 횟수에 상한을 둘 수 있습니다.
셋째, 작은 모델일수록 이득이 큽니다. BrowseComp 벤치마크에서 Haiku 단독 점수는 19.7%였습니다. 같은 Haiku에 Opus 조언자를 붙이자 41.2%로 2배 이상 올랐습니다(Anthropic, 2026). Sonnet 단독과 비교하면 점수는 29% 낮지만, 작업당 비용은 Sonnet의 15% 수준입니다. 작은 모델이 놓치던 판단을 조언자가 보완하는 구조입니다.
넷째, 큰 모델끼리 붙여도 비용이 내려갑니다. SWE-bench Multilingual에서 Sonnet에 Opus 조언자를 붙인 결과 점수가 2.7%p 올랐습니다. 동시에 에이전트 작업당 비용은 11.9% 줄었습니다(Anthropic, 2026). Opus를 내내 돌리지 않고 필요할 때만 쓰기 때문입니다. Sonnet 혼자 헤매던 반복 시도가 줄어, 토큰 총합이 감소합니다.
| 조합 | 벤치마크 | 단독 점수 | 조언자 추가 | 비용 변화 |
|---|---|---|---|---|
| Sonnet + Opus 조언자 | SWE-bench Multilingual | 기준 | +2.7%p | -11.9% |
| Haiku + Opus 조언자 | BrowseComp | 19.7% | 41.2% | Sonnet 대비 -85% |
출처: Anthropic (2026), The Advisor Strategy.
다섯째, 코드 한 줄로 기존 시스템에 붙습니다. Anthropic은 advisor_20260301이라는 서버 도구로 제공합니다. 기존 API 호출에 도구 선언을 한 줄 추가하면 됩니다(Anthropic, 2026). 별도 오케스트레이션이 필요 없고, 웹 검색이나 코드 실행 같은 기존 도구와 함께 쓸 수 있습니다. 복잡도는 그대로, 지능만 얹는 구조입니다.
Bolt의 CEO Eric Simmons는 이 설계를 이렇게 평가했습니다. "복잡한 작업에서는 더 나은 아키텍처 결정을 내리고, 단순한 작업에서는 추가 부담이 전혀 없습니다. 계획과 작업 경로가 완전히 다릅니다"(Anthropic, 2026). 실사용 피드백도 벤치마크 수치와 같은 방향입니다.
이 설계를 무시하면 두 가지 비용이 쌓입니다. 첫째, 점수 공백입니다. Haiku 단독 운영은 BrowseComp에서 21.5%p를 그대로 버립니다(Anthropic, 2026). 둘째, 토큰 낭비입니다. Sonnet 단독 운영은 같은 작업에 11.9% 더 많은 비용을 씁니다(Anthropic, 2026). 에이전트 요청이 월 10만 건이면 비용 차이가 빠르게 누적됩니다.
사내 에이전트 워크플로를 세 기준으로 점수화합니다. (1) 실패율이 높은가? (2) 월간 토큰 단가가 상위에 있는가? (3) 비슷한 판단이 반복되는가? 세 기준에서 모두 높은 워크플로가 Advisor Strategy 1순위입니다. (30분, 개발팀 미팅 1건)
가장 실패율이 높은 에이전트 워크플로 1개를 고릅니다. 기존 API 호출에
advisor_20260301 도구를 추가하고, max_uses를 3으로 설정합니다. 한 주 동안 점수와 작업당 비용을 기존 버전과 비교합니다. (개발 2시간 + 1주 관찰)지금 Sonnet으로 돌리는 단순 반복 작업을 찾습니다. Haiku와 Opus 조언자 조합으로 같은 작업을 재실행해 정확도와 비용을 비교합니다. Claude에 "다음 워크플로를 Haiku 실행자 + Opus 조언자로 전환할 수 있는지 평가해줘"라고 요청합니다. (1시간, 사내 후보 업무 3개 선정)
벤치마크는 Anthropic 자사 측정치입니다. SWE-bench Multilingual과 BrowseComp 수치는 Anthropic 블로그 발표 기준입니다. 실제 서비스 환경에서는 결과가 달라질 수 있습니다. 반드시 자사 데이터로 재측정해야 합니다.
조언자 호출이 잦으면 절감 효과가 사라집니다. 실행자가 작은 결정마다 Opus를 부르면 토큰 비용이 오히려 늘어납니다. max_uses 상한 없이 운영하면 예산이 터질 수 있습니다.
단순 작업에서는 이득이 적습니다. 실행자가 혼자 풀 수 있는 작업에는 조언자가 호출되지 않습니다. 쉬운 워크플로에 적용하면 구조만 복잡해지고 개선이 미미합니다.
모델 조합에 특화된 평가가 필요합니다. 성능이 오르는 조합과 그렇지 않은 조합이 있습니다. 한 번의 테스트로 전체 워크플로에 적용하기에는 근거가 부족합니다.
값싼 모델에 비싼 모델을 조언자로 붙이면 점수는 오르고 비용은 내려갑니다. 지능을 모든 곳에 뿌리지 말고, 어려운 결정 위에만 얹으십시오.
실행자(Executor): 작업을 처음부터 끝까지 돌리는 모델입니다. 도구를 호출하고 결과를 해석합니다.
조언자(Advisor): 실행자가 어려운 결정에 막혔을 때만 호출되는 모델입니다. 도구를 직접 쓰지 않고 지시만 돌려줍니다.
SWE-bench Multilingual: 여러 언어의 실제 오픈소스 저장소 이슈를 AI가 해결하는 코딩 벤치마크입니다.
BrowseComp: 웹 브라우징 기반 질문에 답하는 에이전트 능력을 측정하는 벤치마크입니다.
max_uses: API 요청 1건에서 조언자가 호출될 수 있는 최대 횟수입니다. 비용 상한선을 정하는 장치입니다.
- Anthropic. (2026, April). The Advisor Strategy: Give Agents an Intelligence Boost [Article]. Claude Blog. (원문 보기 ↗)