강화학습(GRPO)은 AI를 새 업무에 맞출 때 수천에서 수만 번의 시도가 필요합니다.
GEPA는 점수 대신 자연어 반성으로 프롬프트를 진화시켜, 최대 35배 적은 시도로 강화학습을 앞섰습니다.
여섯 과제 평균 6퍼센트, 개별 과제는 최대 20퍼센트까지 강화학습을 앞질렀습니다.
당신은 아직도 AI에 데이터와 GPU를 더 붓고 있습니까?
이 연구는 스스로 반성하는 문장 몇 줄이 수만 번의 강화학습을 이겼다고 말합니다.
AI를 우리 업무에 맞추는 길은 크게 둘입니다. 하나는 모델 가중치를 다시 학습시키는 강화학습입니다. 다른 하나는 지시문, 곧 프롬프트를 다듬는 방법입니다. 업계는 오래도록 앞의 길을 정공법으로 여겼습니다. 비싸고 느려도 성능이 오른다고 믿었습니다.
이 논문은 그 믿음을 흔듭니다. 프롬프트를 스스로 반성하며 고치는 방법이, 수만 번을 굴리는 강화학습보다 더 좋은 결과를 더 싸게 냈습니다. GPU 예산이 없는 조직에도 문이 열립니다. 지금 AI 도입 비용에 발목이 잡혀 있다면, 이 방향을 먼저 봐야 합니다.
GRPO는 앤트로픽, 오픈AI가 쓰는 대표적 강화학습 기법입니다. 모델에 점수 하나, 즉 맞음이나 틀림을 주고 그 신호로 가중치를 조금씩 밉니다. 문제는 신호가 너무 얕다는 점입니다. 한 번의 시도에서 오간 추론, 도구 호출, 오류 메시지는 전부 버리고 숫자 하나만 남깁니다. 그래서 새 업무 하나를 배우는 데 시도가 수만 번씩 듭니다.
첫째, 반성이 점수를 이겼습니다. GEPA의 방식은 단순합니다. 시도가 끝나면 그 과정을 자연어로 되짚습니다. 어디서 틀렸는지, 왜 그랬는지를 모델이 스스로 글로 진단합니다. 그 진단을 반영해 프롬프트를 고칩니다. 숫자 하나가 아니라 문장으로 배우니, 시도 한 번에서 얻는 학습량이 훨씬 큽니다.
저자들은 이를 언어가 점수보다 풍부한 학습 재료라고 표현합니다. 실제로 다중 홉 검색 시스템의 지시문은, 반성을 거치며 한 줄짜리 명령에서 검색 전략을 담은 상세한 지침으로 진화했습니다. 사람이 손으로 튜닝한 프롬프트에 가까운 결과입니다.
진화에는 안전장치가 하나 더 있습니다. GEPA는 가장 점수 높은 프롬프트 하나만 붙잡고 파지 않습니다. 과제별로 각각 앞선 프롬프트를 모두 남겨 두고, 그 후보들 사이에서 다음 개선안을 고릅니다. 한 방향만 파다 막다른 길에 갇히는 국소 최적을 피하는 설계입니다. 반성이 학습의 깊이라면, 이 파레토 방식은 탐색의 넓이입니다.
| 방식 | 종합 점수 여섯 과제 평균 · 높을수록 좋음 |
필요 시도 rollout · 적을수록 좋음 |
|---|---|---|
| 베이스라인 (튜닝 전) | 45.23 | 없음 |
| GRPO (강화학습) | 48.91 | 24,000 |
| MIPROv2 (기존 프롬프트 최적화) | 47.84 | 미보고 |
| GEPA (반성 진화) | 54.85 | 3,936 |
Qwen3 8B 기준 여섯 개 과제의 종합 성능입니다. GEPA는 강화학습보다 높은 점수를, 약 6분의 1의 시도로 냈습니다. 대상 과제는 검색, 수학, 지시 이행을 포함합니다. 출처: Agrawal 외 (2026), GEPA.
둘째, 시도 횟수가 35배 줄었습니다. Qwen3 8B 기준으로 GRPO는 과제마다 24,000번을 굴렸습니다. GEPA는 평균 3,936번으로 끝냈습니다. IFBench에서는 678번 만에 최적 프롬프트를 찾아, GRPO의 24,000번 결과를 앞섰습니다. 저자들은 사례에 따라 효율이 최대 78배까지 높았다고 밝힙니다.
시도 한 번은 곧 API 호출이고 비용입니다. 횟수가 줄면 그대로 돈이 됩니다. 많은 실무 상황에서 최상위 모델의 가중치는 아예 손댈 수 없습니다. 이때 프롬프트만 고쳐 성능을 올리는 길은 유일한 선택지가 됩니다.
셋째, 만든 프롬프트가 다른 모델에서도 통했습니다. 작은 모델 Qwen3 8B로 다듬은 프롬프트를, 더 큰 GPT-4.1 Mini에 그대로 옮겨봤습니다. 별도 수정 없이 종합 9퍼센트가 올랐습니다. HotpotQA에서는 최대 27퍼센트까지 뛰었습니다. 값싼 모델에서 프롬프트를 최적화하고, 비싼 모델에 옮겨 쓰는 길이 열립니다.
비용을 낮추는 요소는 하나 더 있습니다. GEPA가 만든 프롬프트는 경쟁 기법인 MIPROv2보다 최대 9.2배 짧습니다. 예시를 잔뜩 붙이는 대신 명확한 지침을 씁니다. 프롬프트가 짧으면 쓸 때마다 드는 토큰 비용도 함께 줄어듭니다.
정답을 채점할 수 있는 업무 하나를 고릅니다. 실패한 사례를 모델에 자연어로 되짚게 하고, 그 진단으로 지시문을 고치는 순환을 만듭니다. 비개발자라면 개발팀에 가중치 재학습 대신 반성 기반 프롬프트 최적화를 먼저 시험해 달라고 요청하면 됩니다. 강화학습보다 훨씬 싸게 성능을 시험할 수 있습니다. (이번 주)
AI 실험 비용을 GPU 시간이 아니라 API 호출 횟수로 환산해 기록합니다. 어떤 방법이 같은 성능을 몇 배 적은 호출로 내는지 비교표를 만듭니다. 이 표가 도입 방식을 고르는 근거가 됩니다. (1주일)
작은 모델로 프롬프트를 다듬고, 그 프롬프트를 상위 모델에 그대로 넣어 성능이 유지되는지 확인합니다. 최적화 비용을 낮추면서 상위 모델의 성능을 취하는 실전 전략입니다. (1개월)
평가 범위가 정해져 있습니다. 여섯 개 벤치마크와 두 모델(Qwen3 8B, GPT-4.1 Mini)에서 나온 결과입니다(Agrawal 외, 2026). 검색, 수학, 지시 이행 같은 과제에 집중돼 있습니다. 모든 업무 유형으로 넓히려면 자기 데이터로 다시 검증해야 합니다.
반성에도 좋은 모델이 필요합니다. 프롬프트를 되짚는 일 자체를 LLM이 맡습니다. 반성을 담당하는 모델이 약하면 진단도 얕아집니다. 반성에 상위 모델을 쓰면 그 호출 비용이 절감분을 일부 갉아먹습니다. 순비용을 따질 때 이 항목을 함께 넣어야 합니다.
강화학습을 완전히 대체하진 않습니다. GEPA는 프롬프트만 바꾸고 가중치는 건드리지 않습니다(Agrawal 외, 2026). 모델의 근본 능력 자체를 끌어올려야 하는 문제는 여전히 학습의 몫입니다. 정답을 채점할 함수가 없는 업무에도 적용이 어렵습니다.
AI를 가르치는 가장 싼 방법은 더 많은 연산이 아니라, 더 나은 반성일 수 있습니다.
컴파운드 AI 시스템: 여러 번의 LLM 호출과 도구 사용을 엮어 하나의 작업을 처리하는 시스템입니다. 검색, 추론, 코드 실행을 조합한 에이전트가 대표 예입니다.
롤아웃 (rollout): AI 시스템을 한 번 실행해 결과를 평가하는 한 회차입니다. 강화학습은 학습에 이 롤아웃이 수만 번 필요합니다.
GRPO: 그룹 상대 정책 최적화. 결과에 점수를 매겨 모델 가중치를 조정하는 강화학습 기법입니다. 앤트로픽, 오픈AI 등이 씁니다.
GEPA: Genetic-Pareto. 자연어 반성과 진화 알고리즘을 결합해 프롬프트를 최적화하는 방법입니다.
파레토 프런티어: 한 기준이 아니라 여러 과제에서 각각 앞선 후보를 모두 남기는 선택 방식입니다. 한 우물만 파다 갇히는 국소 최적을 피합니다.
MIPROv2: 프롬프트와 예시를 함께 최적화하는 기존 대표 기법입니다. 이번 연구의 비교 기준선입니다.
- Agrawal, L. A., et al. (2026, February). GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning [Preprint]. arXiv. (원문 보기 ↗)