브리지워터와 싱킹머신랩이 전문가 투자자가 라벨한 데이터로 오픈 모델을 미세조정했습니다.
그 결과 금융 판단 6개 과제에서 평균 84.7%로, 최고 프런티어 모델 GPT-5.5(78.2%)를 이겼습니다.
비용은 오히려 낮았습니다. 추론 비용이 프런티어 대비 13.8배 저렴했습니다. 전문가 데이터가 해자였습니다.
더 똑똑한 프런티어 모델을 계속 기다리십니까?
당신의 전문가 데이터가 더 나은 모델을 만듭니다.
많은 회사가 같은 믿음으로 움직입니다. 더 똑똑한 프런티어 모델이 나오면 우리 문제도 풀린다는 믿음입니다. 그래서 최신 모델 API를 기다리고, 그 위에 프롬프트를 얹습니다. 그런데 세계 최대 헤지펀드 브리지워터의 실험은 다른 길을 보여줍니다.
브리지워터는 전문가 투자자가 직접 라벨한 데이터로 오픈 모델 하나를 미세조정했습니다. 그 모델이 금융 판단 과제에서 최고 프런티어 모델을 이겼습니다. 그것도 훨씬 싼 비용으로요. 이 글은 '최신 모델 대기' 대신 '우리 데이터로 전용 모델'이라는 선택지를 다룹니다.
겉보기에 쉬운 일이 AI에게는 어렵습니다. '이 문서가 우리 투자 판단에 중요한가'를 가리는 일이 그렇습니다. 사람 전문가에게는 단순해 보이지만, 최신 모델도 기본 프롬프트로는 정확도가 절반 수준에 그쳤습니다. 전문가가 프롬프트를 다듬어도 78~80%에서 멈췄습니다. 매일 믿고 쓰기엔 부족한 선입니다. 게다가 새 모델이 나와도 이 과제에서는 성능이 빠르게 좋아지지 않았습니다. 특히 쓴 돈 대비 성능이 그랬습니다.
첫째, 프런티어 모델도 이 판단은 못 했습니다. 연구진이 고른 여섯 과제는 문서 관련성 판별, 중앙은행 문서에서 금리 신호 포착, 보일러플레이트와 실제 분석 구분 같은 실무 판단입니다. 제미나이, 클로드, GPT 계열 모두 기본 프롬프트로는 약 50%, 전문가 프롬프트로도 78~80%에서 멈췄습니다. 최신 모델이라고 이 벽을 빠르게 넘지 못했습니다.
둘째, 열쇠는 전문가가 라벨한 데이터였습니다. 처음엔 비전문가가 붙인 라벨로 학습했더니 성능이 나빴습니다. 연구진은 영리한 검증 장치를 만들었습니다. 학습된 모델이 라벨과 어긋나는 사례를 골라냈습니다. 그런 사례는 진짜 어려운 문제거나 잘못 붙은 라벨입니다. 이것만 전문가에게 보내 다시 판정하니, 적은 비용으로 데이터를 깨끗하게 다듬을 수 있었습니다.
셋째, 세 가지 훈련 기법을 더했습니다. 연구진은 세 가지를 조합했습니다. 여섯 과제를 번갈아 학습시키는 방식이 순차 학습보다 정확도를 12.1%p 올렸습니다. 손실 함수를 바꾼 것이 10.1%p, 강한 교사 모델로 지식을 옮기는 증류가 3.1%p를 더했습니다. 아래 표는 각 기법을 뺐을 때 성능이 얼마나 떨어지는지 보여줍니다.
| 구성 | 정확도 | 양성 F1 |
|---|---|---|
| 전체 기법 적용 | 84.7% | 93.0% |
| 번갈아 학습 제거 | 72.2% | 미보고 |
| 손실 함수 개선 제거 | 74.6% | 미보고 |
| 증류 제거 | 72.4% | 미보고 |
| 고정 교사로 대체 | 81.6% | 미보고 |
넷째, 작은 오픈 모델이 프런티어를 이겼습니다. 최종 모델은 오픈 모델을 미세조정한 것입니다. 여섯 과제 평균 84.7%로 최고 프런티어 모델 GPT-5.5(78.2%)를 앞섰습니다. 실수는 29.8% 줄었고, 추론 비용은 13.8배 낮았습니다. 연구진의 결론은 분명합니다. 전문가가 라벨한 고품질 자체 데이터로 미세조정하면, 범용 모델을 넘어서는 '차별적 지능'을 만들 수 있습니다.
문서 관련성 분류, 문의 분류, 이상 신호 포착처럼 최신 모델을 써도 정확도가 벽에 부딪히는 반복 판단이 있는지 보세요. 그 벽이 곧 전용 모델의 기회입니다. (이번 주)
숙련자가 매일 내리는 판단을 라벨로 축적하세요. 처음부터 완벽할 필요는 없습니다. 모델과 어긋나는 사례만 전문가에게 다시 물으면, 적은 비용으로 데이터가 깨끗해집니다. (1개월)
대량 반복 판단이라면, 오픈 모델 미세조정이 프런티어 API보다 정확하고 쌀 수 있습니다. 월 호출량 기준으로 두 경로의 총비용을 계산해 보세요. 규모가 클수록 전용 모델이 유리해집니다. (분기 내)
금융 특화 과제입니다. 실험은 금융 문서 판단 여섯 과제에 한정됩니다(싱킹머신랩, 2026). 이 결과가 모든 판단 업무로 일반화된다는 보장은 없습니다. 우리 과제에 맞는지는 작은 시험으로 먼저 확인해야 합니다.
초기 비용이 큽니다. 추론 비용은 낮지만, 전문가 라벨링과 미세조정에는 상당한 인력과 데이터 정비가 듭니다. 판단량이 충분히 많아야 이 초기 투자가 회수됩니다. 소량 업무라면 API가 여전히 합리적입니다.
자체 발표입니다. 브리지워터와 싱킹머신랩이 자사 방법을 공개한 글입니다. 유리한 조건에서 낸 수치일 수 있으니, 우리 데이터로 재현되는지 직접 검증하는 것이 안전합니다.
최신 모델을 기다리는 대신, 전문가 판단을 데이터로 남기세요. 우리만의 데이터가 범용 모델을 이기는 해자입니다.
미세조정(fine-tuning): 이미 학습된 모델을 특정 과제 데이터로 추가 학습시켜 그 일에 특화시키는 방법입니다.
오픈 모델: 가중치가 공개돼 자체 인프라에서 돌리고 미세조정할 수 있는 모델입니다. 이 실험은 Qwen3-235B를 썼습니다.
온폴리시 증류(OPD): 강한 교사 모델의 판단을 학생 모델에 옮기는 학습법입니다. 검증 성능이 오를 때만 교사를 교체해 후퇴를 막습니다.
차별적 지능(differentiated intelligence): 조직 고유의 데이터로 만들어, 범용 모델이 따라오지 못하는 전용 역량을 뜻합니다.
양성 F1: 중요하다고 골라낸 사례를 얼마나 정확하고 빠짐없이 잡았는지 함께 재는 지표입니다.
- Su, S., Zhu, K., Xiao, E., Alur, R., & Kang, D. (2026, June). Learning to replicate expert judgment in financial tasks [Research article]. Thinking Machines Lab & Bridgewater AIA Labs. (원문 보기 ↗)