Sakana AI가 7B 파라미터 지휘자 AI를 강화학습으로 훈련했습니다. 이 모델은 GPT-5, Gemini 2.5, Claude를 자동으로 조율합니다.
GPQA Diamond 87.5%, AIME25 93.3%로 모든 벤치마크에서 최고 기록을 달성했습니다. 단일 프론티어 모델을 모두 앞섰습니다.
AI 에이전트 성능을 결정하는 것은 단일 모델의 규모가 아닙니다. 조율 설계가 결과를 바꿉니다.
7B짜리 지휘자가 GPT-5를 이겼습니다.
가장 비싼 모델 하나에 의존하는 전략, 재검토할 때입니다.
가장 비싼 AI 하나를 구독해도 최선의 결과를 보장하지 않습니다. Sakana AI의 Conductor 논문이 이를 증명했습니다. 70억 파라미터 소형 모델이 GPT-5, Gemini 2.5 Pro, Claude Sonnet을 지휘했습니다. 단독 모델보다 높은 성능이 나왔습니다(Nielsen 외, 2026). AI 에이전트를 운영하거나 도입을 검토하는 조직이라면 조율 설계 방식을 다시 살펴봐야 합니다.
기업들이 AI 에이전트에 본격 투자하는 시점에 이 논문이 발표됐습니다. 지금까지는 가장 강력한 단일 모델을 선택하는 것이 최선이라는 전제가 지배적이었습니다. Conductor는 이 전제를 데이터로 뒤집었습니다. 소형 지휘자 모델이 여러 대형 모델을 조율하면 단독 최강 모델을 일관되게 앞섭니다(Nielsen 외, 2026). AI 에이전트 도입 방향과 예산 배분을 새로 고민해야 합니다.
첫째, 7B 지휘자가 4개 주요 벤치마크에서 모두 최고 기록을 세웠습니다. GPQA Diamond에서 87.5%로 Gemini 2.5(84.8%)를 2.7%p 앞섰습니다. AIME25 수학 경시도 93.3%로 GPT-5(90.8%)를 넘었습니다(Nielsen 외, 2026). LiveCodeBench와 BigCodeBench에서도 기존 최고치를 모두 갱신했습니다. 특정 분야가 아닌 모든 분야에서 일관된 우위입니다.
팀장 관점에서 핵심 메시지는 하나입니다. 지금 쓰는 가장 비싼 모델 하나보다 여러 모델을 조율하는 설계가 더 나은 결과를 냅니다. 비용을 더 쓰지 않아도 성능을 높일 수 있다는 의미입니다.
| 벤치마크 | Conductor | 이전 최고 | 차이 |
|---|---|---|---|
| GPQA Diamond (추론) | 87.5% | 84.8% (Gemini 2.5) | +2.7%p |
| AIME25 (수학 경시) | 93.3% | 90.8% (GPT-5) | +2.5%p |
| LiveCodeBench (코딩) | 83.93% | 82.90% (GPT-5) | +1.0%p |
| BigCodeBench (코딩) | 37.86% | 37.51% (Gemini 2.5) | +0.35%p |
출처: Nielsen 외 (2026), Table 1. 프리프린트 논문 기준.
둘째, Conductor는 문제를 분해하고 적합한 AI에 자동 배정합니다. 지휘자 모델은 복잡한 과제를 받으면 세 가지를 결정합니다. 어떤 하위 과제로 나눌지, 각 단계에 어느 AI를 배정할지, 이전 단계 결과를 어디까지 공유할지입니다(Nielsen 외, 2026). 이 조율 전략 전체를 자연어로 출력하고, 각 단계별 AI가 순서대로 실행합니다. 지금까지 팀장이나 프롬프트 엔지니어가 직접 설계하던 워크플로우를 AI가 대신 만드는 것입니다. 조직 내 AI 담당자의 역할이 "프롬프트 작성자"에서 "조율 구조 설계자"로 바뀌기 시작했습니다.
셋째, 기존 멀티에이전트 방식보다 API 호출을 적게 쓰면서도 성능이 높습니다. Conductor의 평균 워크플로우 단계는 3단계입니다. 최대 허용 단계(5단계) 대비 40%를 줄인 것으로, 비용 절감 유도 없이 학습된 결과입니다(Nielsen 외, 2026). Mixture-of-Agents, MASRouter 등 기존 방식 대비 10~15%p 높은 성능을 적은 API 호출로 달성했습니다.
넷째, 재귀 호출 구조로 어려운 문제에서 스스로를 지휘합니다. 확장 기능으로 Conductor가 자기 자신을 작업자로 지정할 수 있습니다. 초기 조율 전략이 부족하면 재귀적으로 재조율합니다(Nielsen 외, 2026). BigCodeBench에서 재귀 적용 시 37.8%에서 40.0%로 성능이 올랐습니다. 단순히 더 큰 모델을 쓰지 않고도 추론 시간에 성능을 높이는 새로운 방법입니다.
| 조율 방식 | AIME25 | BigCodeBench | GPQA Diamond | 평균 |
|---|---|---|---|---|
| Conductor (기본) | 66.67% | 37.8% | 81.31% | 61.93% |
| Conductor (재귀 적용) | 66.67% | 40.0% | 82.32% | 63.00% |
출처: Nielsen 외 (2026), Table 2. 재귀 호출 적용 전후 비교.
다섯째, 어려운 문제일수록 더 많은 단계를 자동 배정합니다. 단순 사실 확인 과제에는 2단계, 복잡한 코딩 과제에는 3~4단계를 할당합니다. 이 난이도 감지 능력은 명시적 훈련 없이 강화학습 과정에서 스스로 생겨났습니다(Nielsen 외, 2026). 비용을 줄이면서 어려운 문제에는 더 집중하는 구조입니다.
멀티에이전트 워크플로우를 이미 운영 중인 조직이라면 호출 효율 차이가 직접적인 비용으로 연결됩니다. Conductor는 최대 허용 단계 대비 평균 40% 적은 API 호출로 더 높은 성능을 냅니다(Nielsen 외, 2026). Mixture-of-Agents 방식을 현재 5단계로 운영 중이라면, 같은 예산으로 처리 가능한 작업량이 늘어납니다. 오픈소스로 공개된 모델 가중치를 활용하면 지휘자 모델 자체의 추가 비용도 최소화됩니다.
조율 설계 없이 단일 최강 모델만 쓰는 방식도 비용 관점에서 불리합니다. 개방형 에이전트 풀에서 Conductor는 Claude Sonnet 4 단독 대비 약 10%p 높은 성능을 냈습니다(Nielsen 외, 2026). 동일 작업에서 더 낮은 성능으로 더 많은 비용을 지출하는 상황입니다.
2단계 이상의 판단이 필요한 업무를 고릅니다. 예: 시장 조사 후 전략 초안 작성, 데이터 분석 후 보고서 생성. 팀장 지시문: "현재 Claude나 GPT로 처리하는 업무 중 '분석 → 작성' 또는 '검색 → 판단' 구조인 것을 다음 주 회의까지 3개 찾아 보고하라." (30분)
Conductor를 도입하지 않아도 핵심 원리는 지금 바로 적용할 수 있습니다. Claude에 다음 지시문을 입력합니다: "이 업무를 3단계로 분리하라. 1단계: 핵심 정보만 추출해 목록으로 정리. 2단계: 목록을 기반으로 논리적 분석 수행. 3단계: 분석 결과로 보고서 초안 작성. 각 단계 완료 후 다음 단계를 진행하라." 기존 단일 프롬프트 결과와 비교해 품질 차이를 확인합니다. (1시간)
이미 여러 AI API를 연결해 쓰는 팀이라면 호출 횟수를 확인합니다. Conductor 방식으로 평균 40% 줄이면 얼마가 절감되는지 시뮬레이션합니다. Claude에 요청: "지난달 AI API 청구서에서 총 호출 수와 비용을 알려 주겠다. 호출을 40% 줄였을 때 월 절감액을 계산하라." CTO에게: "Conductor 조율 방식 도입 가능성을 2주 내 검토해 보고하라." (1시간)
프리프린트 논문으로 피어리뷰가 완료되지 않았습니다. arXiv 논문은 동료 검증 전 단계입니다. 벤치마크 수치는 논문 저자 기준이며 독립적 재현 결과가 아닙니다. 조직 전략 변경의 근거로 삼기 전에 공식 발표 또는 외부 검증 결과를 추가로 확인해야 합니다.
Worker 모델 API 비용은 여전히 발생합니다. Conductor 자체는 소형 모델이지만, 실제 작업을 수행하는 Worker는 GPT-5, Gemini 2.5, Claude 같은 프론티어 모델입니다. 각 단계마다 이 모델들의 API 비용이 청구됩니다. 단일 모델 대비 호출 효율이 높더라도 총비용이 늘어날 수 있습니다.
Conductor 직접 훈련은 상당한 컴퓨팅이 필요합니다. 논문의 훈련 환경은 NVIDIA H100 80GB GPU 2장입니다. 오픈소스 모델 가중치를 활용하면 훈련 없이도 사용할 수 있지만, 자체 업무에 맞게 재훈련하려면 전문 인프라가 필요합니다.
고비용 프론티어 모델 의존이 비용 불평등을 심화할 수 있습니다. 논문 저자들도 명시적으로 인정한 한계입니다. Conductor가 최고 성능을 내려면 GPT-5와 Gemini 2.5 같은 유료 프론티어 모델이 Worker로 필요합니다. 오픈소스 모델만 쓰는 경우 성능 차이가 발생합니다.
성능을 결정하는 것은 모델 규모가 아니라 조율 설계입니다. AI 에이전트 전략을 단일 모델 선택에서 조율 아키텍처 설계로 전환해야 합니다.
멀티에이전트 시스템: 여러 AI 모델이 협력해 하나의 과제를 처리하는 구조입니다. 각 모델이 서로 다른 역할을 맡아 순서대로 또는 병렬로 작업합니다.
오케스트레이션(조율): AI 에이전트 시스템에서 여러 모델의 역할, 순서, 정보 흐름을 설계하는 과정입니다. Conductor는 이 조율을 자동화합니다.
GRPO (Grouped Relative Policy Optimization): DeepSeek-R1이 사용한 강화학습 알고리즘입니다. Conductor는 이 방식으로 훈련해 조율 전략을 스스로 학습했습니다.
GPQA Diamond: 대학원 수준의 물리, 화학, 생물 문제 198개로 구성된 AI 추론 벤치마크입니다. 전문가도 틀리는 문제들을 포함합니다.
AIME25: 미국 수학 올림피아드 예선 2025년 문제 30개로 구성된 수학 추론 벤치마크입니다. 최상위 수학 경쟁자 수준의 문제입니다.
LiveCodeBench: 코딩 경진대회 문제를 실시간으로 업데이트하는 코딩 벤치마크입니다. 학습 데이터 오염 가능성이 낮아 신뢰도가 높습니다.
재귀 호출 (Recursive Topology): Conductor가 자기 자신을 Worker로 지정해 조율을 반복하는 구조입니다. 초기 전략이 부족하면 스스로 재시도합니다.
- Nielsen, S., Cetin, E., Schwendeman, P., Sun, Q., Xu, J., & Tang, Y. (2026, March). Learning to Orchestrate Agents in Natural Language with the Conductor [Preprint]. arXiv. (원문 보기 ↗)
라운드테이블 댓글이 곧 추가됩니다.