SIA는 에이전트의 스캐폴드(도구·프롬프트·재시도 로직)와 모델 가중치를 동시에 자기진화시키는 프레임워크입니다.
중국 법률 분류, GPU 커널 최적화, RNA 노이즈 제거 세 작업에서 둘 다 업데이트한 버전이 단일 레버만 쓴 경우를 모두 이겼습니다.
LawBench 정확도가 13.5%에서 70.1%로 올랐습니다. 기존 SOTA(45.0%)도 크게 넘어섰습니다.
당신은 프롬프트만 고치고 있습니까, 모델만 튜닝하고 있습니까?
AI는 둘 다 동시에 진화시키고 있습니다.
지난 2년간 AI 업계는 두 진영으로 나뉘어 일했습니다. 한쪽은 모델은 그대로 두고 프롬프트와 도구만 고쳤습니다(에이전트 빌더). 다른 한쪽은 도구는 그대로 두고 모델 가중치만 학습시켰습니다(파인튜닝팀). 두 진영은 서로 다른 컨퍼런스에 갔습니다.
SIA 논문은 그 벽을 허뭅니다. 두 레버를 동시에 당기게 한 AI가 인간이 만든 SOTA를 한 자릿수 차이로 넘었습니다. 당신 조직의 AI 프로젝트가 두 진영 중 한 곳에만 머물러 있다면, 이 글이 그 가정을 흔들 것입니다.
기업 현장에서 'AI 도입'은 보통 둘 중 하나입니다. 첫째는 GPT-4 위에 RAG와 도구 호출 체인을 얹는 일입니다. 둘째는 자사 데이터로 모델을 파인튜닝하는 일입니다. 두 가지를 동시에, 그것도 사람 없이 자동으로 돌리는 운영체계는 거의 없습니다.
SIA는 그 운영체계를 보여줍니다. 메타 에이전트가 초기 스캐폴드를 만들고, 작업 에이전트가 데이터를 풉니다. 피드백 에이전트는 실행 궤적을 보고 '이번 라운드는 도구를 고칠지, 가중치를 학습시킬지'를 선택합니다. 인간은 평가자만 정의합니다.
첫째, 두 레버는 보완재이지 대체재가 아닙니다. 스캐폴드 업데이트는 외재화된 변화를 만듭니다. 새 도구, 더 정밀한 파서, 검증 단계를 추가합니다. 가중치 업데이트는 내재화된 변화를 만듭니다. 모델이 도메인 패턴을 본능으로 익힙니다. 둘은 서로 다른 곳을 고칩니다.
예를 들어 LawBench에서 SIA-H는 SVC 재순위 지정 레이어를 만들었습니다. 같은 작업에서 가중치 업데이트는 191개 위반 범주의 미묘한 차이를 모델 안에 새겼습니다. 도구 한 개를 더 만들거나 데이터를 더 학습시키는 것만으로는 53%대에서 멈춥니다. 둘 다 해야 70.1%에 도달합니다.
| 작업 (평가 지표) | 베이스라인 | SIA-H 스캐폴드만 |
SIA-W+H 스캐폴드+가중치 |
기존 SOTA |
|---|---|---|---|---|
| LawBench (정확도) | 13.5% | 50.0% | 70.1% | 45.0% |
| TriMul (점수=1500/런타임) | 0.105 | 0.120 | 1.475 | 1.292 |
| MAGIC (mse_norm, 낮을수록 좋음) | 0.048 | 0.241 | 0.289 | 0.240 |
세 작업 모두에서 SIA-W+H(스캐폴드+가중치)가 단일 레버만 쓴 SIA-H와 베이스라인을 모두 추월합니다. 두 레버는 보완재입니다. 출처: Hebbar et al. (2026), arXiv:2605.27276v2, Table 3.
둘째, 같은 모델이 세 가지 완전히 다른 도메인을 풀었습니다. 베이스 모델은 gpt-oss-120b 하나입니다. LoRA rank 32 어댑터 하나만 갈아 끼웠습니다. 법률 판례 분류, H100 GPU 커널 최적화, 단일세포 RNA 노이즈 제거. 세 문제는 서로 아무 관련이 없습니다.
여기서 비즈니스적 함의가 나옵니다. 전체 파인튜닝 한 번은 베이스 모델을 통째로 다시 학습시킵니다. LoRA rank 32는 학습 파라미터가 수십분의 일입니다. 도메인이 바뀔 때마다 어댑터 하나만 갈아 끼우면 됩니다. "도메인별 모델을 다 사야 한다"는 전제가 무너집니다. 한 팀이 한 번 만들어 둔 프레임을 다음 프로젝트에 옮길 수 있다는 뜻입니다.
셋째, AI가 알고리즘 선택도 스스로 합니다. 작업마다 어떤 강화학습 알고리즘이 맞는지가 다릅니다. 단계 보상이 촘촘하면 PPO, 롤아웃 비용이 낮고 끝에만 검증이 있으면 GRPO, 보상이 우편향이면 Entropic Advantage Weighting, 절대 점수 대신 순위 신호만 있으면 DPO가 적합합니다. SIA의 피드백 에이전트가 작업 특성을 읽고 이 사전에서 골라냅니다.
대부분 기업의 AI 팀은 알고리즘 하나를 정한 뒤 그 안에서만 튜닝합니다. SIA는 "이번 라운드의 데이터는 어떤 알고리즘에 어울리는가"를 라운드마다 다시 묻습니다. 사람이 한 번 정한 학습 레시피가 영원할 거라는 전제 자체가 흔들립니다.
"스캐폴드만 만지는가, 가중치만 만지는가, 둘 다 만지는가." 셋 중 하나입니다. 답이 앞의 두 개라면, 반대편 레버를 한 번이라도 당겨본 적이 있는지 점검합니다. 한 번도 없다면 그 자체가 다음 분기 의제입니다. (이번 주)
SIA가 작동한 이유는 세 작업 모두 자동으로 점수를 매길 수 있었기 때문입니다(정확도, 런타임, MSE). 당신 업무에서 'AI 산출물의 좋고 나쁨'을 사람 없이 판정할 수 있는 지표가 있는지 확인합니다. 없으면 자기진화 자체가 불가능합니다. 한 도메인이라도 만들어 두는 것이 출발점입니다. (1주일)
비개발자 팀장이라면 외부 ML 파트너에게 한 가지 PoC를 요청합니다. "자사 데이터 1,000건으로 rank 32 LoRA 어댑터 한 개를 학습시켜, 현재 RAG 결과와 동일 문항에서 비교해 달라." 두 결과의 정확도와 응답 비용을 같은 표에 올립니다. 이 표 한 장이 다음 분기 AI 예산 배분의 근거가 됩니다. (1개월)
저자가 직접 인정한 한계가 있습니다. 두 최적화기가 동시에 같은 검증자(Verifier) V를 향해 달리면, 검증자 자체의 빈틈을 같이 학습합니다. 결과 점수는 올라가는데 실제 분포 밖에서는 깨지는 'Goodhart 문제'가 결합된 형태로 나타납니다(Hebbar et al., 2026). 자동화 비율을 높일수록 검증자 설계가 모든 것이 됩니다.
한 자릿수 도메인에서만 검증됐습니다. 세 작업은 인상적이지만, 모두 평가 지표가 명확하고 자동 검증이 가능한 영역입니다. 영업 제안서, 마케팅 카피, 전략 결정처럼 정답이 없는 작업에는 같은 방식이 그대로 옮겨가지 않습니다. 자기진화의 전제조건이 충족되지 않는 업무가 더 많을 수 있습니다.
가중치 업데이트는 도구가 아닙니다. SIA를 실제로 돌리려면 LoRA 학습 인프라, 강화학습 알고리즘 4종 이상, 평가 파이프라인이 같은 시스템 안에 묶여야 합니다. SaaS 한 개로 해결되지 않습니다. 자체 ML 엔지니어가 없는 조직에서는 외부 파트너 없이 재현하기 어렵습니다.
AI를 잘 쓰는 조직은 프롬프트 엔지니어링과 파인튜닝 중 하나를 고르지 않습니다. 둘을 같은 자동화 루프 안에 넣습니다.
스캐폴드 (Scaffold) / 하네스 (Harness): 모델 가중치 바깥에 있는 모든 것입니다. 프롬프트, 도구 호출, 재시도 로직, 출력 파서가 여기 들어갑니다. 같은 모델이라도 스캐폴드가 달라지면 성능이 달라집니다.
LoRA (Low-Rank Adaptation): 전체 모델을 다시 학습시키지 않고, 작은 어댑터 행렬만 학습시키는 파인튜닝 방식입니다. SIA는 rank 32 LoRA를 썼습니다. 비용이 전체 파인튜닝의 수십 분의 1입니다.
PPO / GRPO / DPO: 강화학습 알고리즘들입니다. PPO는 단계마다 보상이 있을 때, GRPO는 끝에만 검증이 있을 때, DPO는 절대 점수 대신 'A가 B보다 낫다'는 순위 신호만 있을 때 적합합니다.
LawBench / TriMul / MAGIC: SIA가 푼 세 벤치마크입니다. 각각 중국 법률 판례 분류, H100 GPU 행렬 곱셈 커널 최적화, 단일세포 RNA 시퀀싱 노이즈 제거 작업입니다.
Verifier (검증자): AI 산출물에 자동으로 점수를 매기는 함수입니다. 자기진화 루프가 돌아가려면 사람 개입 없이 점수가 나와야 합니다. SIA의 한계도 여기에 묶여 있습니다.
Goodhart 문제: 지표가 목표가 되는 순간 그 지표가 더 이상 좋은 척도가 되지 못한다는 현상입니다. SIA 저자들이 직접 경고한 결합 공진화 리스크의 본질입니다.