Anthropic이 생물학 데이터에서 AI 에이전트를 시험했습니다. 바이러스 서열 회수 질문 120개, 병원체 40종이 대상입니다.
도구 없이 맡기자 같은 질문에도 답이 매번 달랐습니다. 한 모델은 266건을 받아와야 할 자리에 106건, 15건, 5건을 들고 왔습니다.
결정적 도구를 붙이자 전 모델이 90%를 넘겼습니다. 에이전트의 발목을 잡은 건 모델이 아니라 데이터 인프라였습니다.
더 똑똑한 모델만 기다리고 계십니까?
에이전트가 헛도는 진짜 이유는
회사 안에 어질러진 데이터입니다.
AI 에이전트에게 일을 맡기기 시작했습니다. 자료 조사, 데이터 정리, 보고서 초안이 대표적입니다. 잘될 때는 사람보다 빠릅니다.
그런데 결과가 들쭉날쭉합니다. 어제 깔끔하던 작업이 오늘은 엉뚱하게 끝납니다. 더 센 모델로 바꿔도 그대로입니다.
이 연구는 그 원인을 생물학 현장에서 해부했습니다. 문제는 에이전트의 머리가 아니었습니다. 에이전트가 다뤄야 할 데이터가 어질러져 있다는 데 있었습니다.
소프트웨어 개발은 에이전트가 잘 해냅니다. 안드레이 카르파시는 "코드 짜는 건 제일 쉬웠고, 일의 대부분은 브라우저에서 클릭하는 것이었다"고 말했습니다. 코드는 에이전트가 다루기 좋게 정돈돼 있다는 뜻입니다.
생물학은 정반대입니다. 데이터가 제각각인 형식, 흩어진 데이터베이스, 한 번 쓰고 버린 스크립트에 갇혀 있습니다. 사람은 클릭으로 헤쳐 나가지만 에이전트는 그 앞에서 막힙니다. 연구진은 이를 바이러스학의 "클릭 세금"이라 불렀습니다.
대가는 작지 않습니다. 2026년 5월 분디부교 에볼라 발병으로 1,000명 넘게 감염되고 200명 넘게 숨졌습니다. 바이러스 서열을 빠르고 정확히 회수하는 일이 곧 대응 속도입니다.
회사 데이터도 다르지 않습니다. 부서마다 다른 양식, 흩어진 파일, 한 번 쓰고 잊은 매크로가 쌓여 있습니다. 에이전트가 헤맬 환경이 이미 갖춰져 있습니다.
첫째, 같은 질문에 매번 다른 답이 나왔습니다. 연구진은 VirBench라는 시험을 만들었습니다. 병원체 40종에 걸친 현실적인 서열 회수 질문 120개로, 클로드와 GPT 계열을 포함한 네 시스템을 평가했습니다. 도구 없이 맡기자 정확도는 16.9%에서 91.3%까지 흩어졌습니다. 더 큰 문제는 재현성이었습니다. 한 모델은 똑같은 질문을 세 번 던졌을 때 266건을 받아와야 할 자리에 각각 106건, 15건, 5건을 들고 왔습니다. 같은 입력, 다른 출력입니다. 가장 강한 모델조차 믿고 맡길 수 없었다는 뜻입니다.
둘째, 그 편차가 결론 자체를 뒤집었습니다. 회수한 데이터가 불완전하자 계통수 분석이 흔들렸습니다. 에볼라의 공통 조상 추정 시점이 2014년 1월에서 4월로, 심하면 1922년으로 튀었습니다. 발병 시계열 결론이 통째로 달라진 것입니다. 치료제 분석도 같았습니다. 항체 치료제가 노리는 결합 부위를 두고 실행마다 다른 세 가지 결론이 나왔습니다. 작은 회수 오차가 과학적 판단을 바꿨습니다. 회사도 다르지 않습니다. 에이전트가 데이터 일부를 빠뜨리면 매출 보고서의 결론도 같은 식으로 뒤집힐 수 있습니다.
셋째, 결정적 도구 한 겹이 문제를 닫았습니다. 연구진은 gget virus라는 회수 계층을 만들었습니다. NCBI의 여러 API를 한데 묶어, 사람이 웹에서 클릭으로 하던 작업을 프로그램으로 똑같이 재현합니다. 큰 데이터셋은 나눠 받고, 보조 기록까지 끌어와 거르고, 감사 가능한 표준 형식으로 돌려줍니다. 이 도구를 붙이자 전 모델이 90%를 넘겼고 최고 모델은 99.7%에 닿았습니다. 실행마다 달라지던 편차가 사라졌고, 모델 사이 성능 격차도 크게 좁혀졌습니다.
| 조건 | 정확도 | 재현성 |
|---|---|---|
| 도구 없이 에이전트에 위임 | 16.9~91.3% (모델별 편차 큼) | 실패 (같은 질문도 매번 다른 결과) |
| 결정적 도구(gget virus) 연결 | 전 모델 >90%, 최고 99.7% | 확보 (실행마다 동일) |
넷째, "할 수 있다"와 "매번 새로 해야 한다"는 다릅니다. 모델이 더 강해지면 이런 도구가 덜 필요해질 거란 반론이 있습니다. 연구진의 답은 분명했습니다. 에이전트가 할 수 있다고 해서, 매번 에이전트가 처음부터 다시 만들어 처리할 일은 아니라는 것입니다. 반복되는 작업은 한 번 결정적 도구로 고정하는 편이 빠르고, 무엇보다 결과를 추적하고 감사할 수 있습니다. 신뢰가 필요한 업무일수록 이 가치는 사라지지 않습니다.
이 점이 리더에게 핵심입니다. AI 도입이 자꾸 어긋난다면 더 센 모델을 기다릴 일이 아닙니다. 에이전트가 딛고 설 데이터와 도구부터 정돈해야 합니다. 모델은 발전하지만, 어질러진 데이터는 저절로 정리되지 않습니다.
에이전트에게 똑같은 작업을 세 번 맡겨 결과를 나란히 놓습니다. 매번 다르면 모델 탓이 아니라 데이터와 절차가 흔들리는 것입니다. 어디서 갈라지는지부터 찾습니다. (30분)
아래 작업을 지금부터 세 번 똑같이 수행하겠습니다. 매번 결과(건수·핵심 수치·결론)를 표로 적어 주세요. 세 번의 결과가 어디서 달라지는지, 그 원인이 데이터 접근인지 판단인지 구분해 짚어 주세요. 작업 내용: [여기에 반복 작업 입력]
에이전트가 자주 막히는 지점을 적습니다. 사람이 매번 손으로 다운로드하고, 양식을 맞추고, 복사해 붙이는 곳입니다. 그곳이 자동화의 병목이자 오류의 진원지입니다. (1시간)
매번 에이전트에게 새로 시키지 말고, 자주 쓰는 데이터 조회와 정리를 결정적 스크립트나 도구로 굳힙니다. 결과가 일정해지고 추적이 가능해집니다. (반나절)
생물학 특화 사례입니다. 바이러스 서열 회수라는 좁은 영역의 결과입니다. 원리는 받아들이되 수치를 그대로 옮기지 마십시오.
도구가 만능은 아닙니다. 결정적 도구는 결과를 일정하게 만들 뿐입니다. 도구 자체가 틀리면 일관되게 틀립니다. 도구의 정확성을 먼저 검증해야 합니다.
도구에도 비용이 듭니다. 만들고 유지하는 손이 필요합니다. 모든 작업이 아니라 반복되고 신뢰가 중요한 작업부터 고정하십시오.
모델 발전이 일부를 대체합니다. 시간이 지나면 일부 도구는 불필요해질 수 있습니다. 그래도 결과를 추적하고 감사하는 가치는 남습니다.
AI 도입이 어긋나는 원인은 모델이 아니라 데이터 인프라인 경우가 많습니다. 더 센 모델을 기다리기 전에 에이전트가 딛고 설 데이터부터 정돈하십시오.
AI 에이전트(AI Agent): 사람의 지시를 받아 여러 단계를 스스로 수행하는 AI입니다. 검색, 도구 호출, 정리까지 이어서 처리합니다.
결정적(Deterministic): 같은 입력에 늘 같은 출력을 내는 성질입니다. 실행마다 결과가 흔들리지 않습니다.
재현성(Reproducibility): 같은 작업을 다시 했을 때 같은 결과가 나오는 정도입니다. 신뢰의 기본 조건입니다.
API: 프로그램이 데이터나 기능을 주고받는 통로입니다. 사람이 클릭으로 하던 일을 코드로 대신하게 합니다.
계통수(Phylogenetic Tree): 바이러스 등의 유전 정보를 비교해 갈라진 내력을 나무 모양으로 그린 그림입니다. 데이터가 빠지면 추정이 크게 흔들립니다.
- Luebbert, L. (2026, June). Paving the Way for Agents in Biology [Article]. Anthropic. (원문 보기 ↗)