UC버클리 연구팀이 블랙박스 대형 언어모델을 외부에서 제어하는 어드바이저 모델을 공개했습니다.
강화학습으로 훈련한 소형 모델이 매 요청마다 최적화된 자연어 지시를 생성해 대형 모델에 전달합니다.
번역 품질이 chrF 28.1에서 43.7로, 세무 규칙 정확도가 56%에서 72%로 향상됐습니다.
GPT 내부에 접근할 수 없어도 AI 행동을 제어할 수 있습니다.
UC버클리는 경량 어드바이저 하나로 이를 증명했습니다.
회사에서 ChatGPT나 Claude를 쓰면서 "우리 스타일로 답하게 하고 싶다"고 생각해본 적 있습니까? 프롬프트를 아무리 바꿔봐도 일관성이 없습니다. 모델 내부를 건드릴 수 없으니 방법이 없었습니다. UC버클리 연구팀이 이 문제를 다른 방식으로 풀었습니다(Asawa et al., 2025). 대형 모델 앞에 소형 어드바이저를 두고, 어드바이저가 상황별로 최적 지시를 만들어 대형 모델에 전달합니다. 기존 정적 프롬프트 최적화 대비 보상 점수가 두 배를 넘었습니다. 세무 규칙 적용 정확도는 56%에서 72%로 올랐습니다.
기업이 채택하는 AI 모델 대부분은 블랙박스입니다. API로만 접근하며 내부 가중치는 수정할 수 없습니다. 기존 해결책인 고정 프롬프트는 상황이 달라지면 효과가 떨어집니다. 파인튜닝은 내부 접근이 필요해 외부 API 모델에는 적용할 수 없습니다. 어드바이저 모델은 두 제약을 동시에 넘어 기업 AI 도입의 병목을 건드립니다.
첫째, 정적 프롬프트는 숨겨진 선호를 학습하지 못합니다. 연구팀은 명시하지 않은 요구를 '숨겨진 선호'로 정의했습니다. 예를 들면 "리뷰를 100~150단어로 써라"처럼 지시문에 없는 조건입니다(Asawa et al., 2025). 기존 정적 최적화(GEPA) 방식의 보상 점수는 0.47에 그쳤습니다. 어드바이저 모델은 0.96을 기록했습니다. 상황이 바뀌어도 숨겨진 요구를 파악해 지시를 조정하기 때문입니다.
(GEPA 0.47 대비)
chrF 28.1 → 43.7
(기준 56%)
둘째, 복잡한 추론 작업에서 효과가 더 큽니다. 연구팀은 수학 추론, 기계 번역, 세무 규칙 세 가지 작업에서 어드바이저를 평가했습니다(Asawa et al., 2025). 기계 번역 chrF 점수는 28.1에서 43.7로 55% 향상됐습니다. 세무 정확도는 56%에서 72%로 올랐습니다. 복잡한 작업은 상황마다 맥락이 달라져 어드바이저가 개입할 여지가 큽니다.
| 작업 | 측정 지표 | 기준선 (GEPA) | 어드바이저 | 향상 |
|---|---|---|---|---|
| 리뷰 길이 제어 | 보상 점수 | 0.47 | 0.96 | +104% |
| 리뷰 레벨 준수 | 준수율 | 58% | 100% | +42%p |
| 수학 추론 (Math500) | 정확도 | 62% | 65% | +3%p |
| 기계 번역 (MTOB) | chrF 점수 | 28.1 | 43.7 | +55% |
| 세무 규칙 적용 | 정확도 | 56% | 72% | +16%p |
출처: Asawa et al. (2025), Table 1~3.
셋째, 어드바이저 구조가 어떻게 작동하는지 이해해야 합니다. 어드바이저 모델은 사용자 입력을 받아 대형 모델에 전달할 자연어 지시를 생성합니다(Asawa et al., 2025). 이 지시는 GRPO 강화학습으로 최적화됩니다. 결과가 좋으면 보상을 받고, 나쁘면 패널티를 받습니다. 어드바이저는 매 요청마다 다른 지시를 생성합니다. 고정 프롬프트와 달리 상황에 따라 적응합니다.
넷째, 대형 모델이 바뀌어도 어드바이저 성능이 유지됩니다. 연구팀은 어드바이저를 특정 대형 모델로 훈련한 뒤 다른 모델에 적용했습니다(Asawa et al., 2025). GPT 계열, Llama, Mixtral 등 서로 다른 모델에서 보상 점수가 0.90 내외로 유지됐습니다. 대형 모델 버전이 업그레이드돼도 어드바이저를 재훈련할 필요가 없습니다. 모델 교체 비용을 낮춥니다.
다섯째, 전문화된 어드바이저가 다른 영역을 해치지 않습니다. 수학 특화 어드바이저가 번역 품질에 영향을 미치는지 검증했습니다(Asawa et al., 2025). 번역 성능은 기준선과 동일했습니다. 한 영역을 최적화해도 다른 영역이 저하되지 않습니다. 여러 전문 어드바이저를 병렬로 운영하는 방식이 현실적입니다.
고정 프롬프트로 해결이 안 돼 담당자가 매번 직접 수정하는 업무를 찾습니다. 가장 많이 반복되고 결과 편차가 큰 케이스가 우선 대상입니다. 포스트잇이나 스프레드시트 한 장으로 정리합니다. (30분, 팀원 인터뷰)
"이 케이스에서 다른 AI 모델에게 전달할 가장 효과적인 지시를 만들어줘"라고 입력합니다. 3가지 다른 상황에 적용해 지시문이 매번 달라지는지 확인합니다. 상황이 달라졌는데 지시문이 거의 같다면 고정 프롬프트로 충분합니다. 지시문이 크게 달라진다면 어드바이저 파일럿이 의미 있습니다. (30분, Claude)
파인튜닝 없이 API 레이어에서 소형 모델을 중간에 두는 아키텍처입니다. 구현 가능성과 예상 비용을 먼저 확인합니다. 가장 반복 빈도가 높은 작업 하나로 파일럿 범위를 좁힙니다. (1시간, IT팀 또는 외부 개발사 미팅)
어드바이저 훈련에 도메인 데이터가 필요합니다. 어드바이저는 강화학습으로 훈련합니다. 품질 판정을 위한 보상 함수 설계와 도메인별 데이터가 선행되어야 합니다. 보상 함수 설계가 잘못되면 어드바이저가 원하지 않는 행동을 강화합니다. 초기 설계 단계에서 도메인 전문가가 반드시 참여해야 합니다.
API 호출이 두 번으로 늘어납니다. 어드바이저가 지시를 생성하고, 대형 모델이 실행합니다. 지연(latency)이 늘고 비용도 증가합니다. 실시간 응답이 필요한 고객 접점 서비스에서는 추가 검토가 필요합니다. 내부 분석이나 배치 처리 작업부터 시작하는 것이 현실적입니다.
어드바이저가 생성한 지시를 해석하기 어렵습니다. 어드바이저가 왜 이 지시를 생성했는지를 파악하기 어렵습니다(Asawa et al., 2025). AI 거버넌스 기준을 충족해야 하는 금융, 의료 분야에서는 로그 기록과 감사 체계를 함께 설계해야 합니다.
AI를 바꾸지 않고 AI를 조종하는 중간 레이어가 등장했습니다.
블랙박스 LLM: 내부에 접근하거나 수정할 수 없는 AI 모델입니다. GPT-4, Claude API가 대표적입니다.
어드바이저 모델: 대형 모델에 자연어 지시를 생성하는 소형 보조 모델입니다. 직접 답을 생성하지 않고 지시만 만듭니다.
강화학습(RL): 보상 신호로 AI를 훈련하는 방식입니다. 결과가 좋으면 높은 점수를, 나쁘면 낮은 점수를 줍니다.
GRPO: 어드바이저 모델 훈련에 사용된 강화학습 알고리즘입니다. 그룹 상대 정책 최적화입니다.
chrF: 기계 번역 품질 평가 지표입니다. 0에서 100 사이 점수이며 높을수록 원문에 가깝습니다.
GEPA: 기존 정적 프롬프트 최적화 방식입니다. 어드바이저 모델의 비교 기준선으로 사용됐습니다.
- Asawa, P., Zhu, A., Zaharia, M., Dimakis, A. G., & Gonzalez, J. E. (2025, October). How to Train Your Advisor: Steering Black-Box LLMs with Advisor Models [Preprint]. arXiv. (원문 보기 ↗)
- Asawa, P., Zhu, A., Zaharia, M., Dimakis, A. G., & Gonzalez, J. E. (2025, October). Advisor Models Code Repository [Software]. GitHub. (원문 보기 ↗)