Google의 AI 에이전트 5명이 논문을 씁니다

Google이 논문 전 과정을 자동화하는 멀티 에이전트 프레임워크 PaperOrchestra를 공개했습니다.

개요, 도표, 문헌, 본문, 개선 5개 전문 에이전트가 역할을 나눠 LaTeX 논문을 완성합니다.

시뮬레이션 피어리뷰 합격률은 CVPR 84%, ICLR 81%. 단일 에이전트 방식을 14~38%p 앞섭니다.

논문 한 편에는 아이디어, 문헌 검토, 실험 결과 정리, 도표 제작이 모두 들어갑니다. 지금까지 AI는 이 단계를 한 번에 처리하다 얕은 인용과 피상적 서술에 멈췄습니다. 2026년 4월 6일 Google이 arXiv에 PaperOrchestra를 공개했습니다(Song et al., 2026). 이 시스템은 같은 문제를 역할 분업으로 풀었습니다. 5개의 전문 에이전트가 차례로 작업을 주고받습니다. ScholarPeer AI 심사에서 CVPR 84%, ICLR 81%의 시뮬레이션 합격률이 나왔습니다. 인간 저자의 86%/94%에 근접한 수치입니다.

AI 문서 자동화는 글쓰기 보조를 넘어 "자동 연구원" 단계에 진입했습니다. 기존 Sakana AI Scientist v2는 실험과 작성을 하나로 묶어 설계됐습니다. 외부에서 주어진 원자료를 그대로 처리하지 못합니다(Song et al., 2026). 단일 LLM이 모든 역할을 떠안으니 문헌 검토 깊이, 시각화 품질, 본문 논리가 모두 얕았습니다. 경영 리더에게 중요한 지점은 이겁니다. PaperOrchestra가 풀어낸 문제는 "긴 복합 문서 자동 작성"입니다. 투자심의서, M&A 검토, 시장 분석 리포트가 구조적으로 동일합니다.

첫째, 단일 에이전트는 복잡한 문서에서 실패합니다. Google은 단일 LLM이 논문을 쓰는 Single Agent를 베이스라인으로 삼았습니다(Song et al., 2026). 평균 인용 수가 9~14건에 그쳤습니다. 인간 저자 논문의 약 59건과 비교하면 6분의 1 수준입니다. 한 모델이 문헌 검색, 도표 설계, 본문 작성을 동시에 떠안으니 컨텍스트가 분산됩니다. 얕은 키워드 검색에 의존해 핵심 선행 연구를 놓친 결과입니다.

둘째, 역할 분업이 품질을 끌어올립니다. Google은 5개 전문 에이전트로 작업을 나눴습니다. 개요 생성, 도표 생성, 문헌 검토, 본문 작성, 반복 개선의 5단계입니다(Song et al., 2026). 도표 생성과 문헌 검토는 병렬로 실행합니다. 각 에이전트가 자신의 영역에만 집중하니 출력 품질이 큰 폭으로 오릅니다.

셋째, 문헌 검토의 깊이가 완전히 달라졌습니다. 문헌 검토 에이전트는 웹 검색으로 후보 논문을 찾습니다. Semantic Scholar API로 존재를 검증한 뒤 중복을 제거합니다(Song et al., 2026). PaperOrchestra는 논문당 45~47건을 인용합니다. 단일 에이전트의 4배, 인간 수준의 78%입니다. 특히 "인용할 만한 주변 연구(P1)" 항목에서 재현율이 12.59~13.75%p 상승했습니다. 얕은 키워드 검색이 아니라 학술 지형을 훑는다는 증거입니다.

넷째, 반복 개선 루프가 최종 품질을 결정합니다. 마지막 콘텐츠 개선 에이전트는 AgentReview 피드백을 받아 초안을 반복 수정합니다(Song et al., 2026). 전체 점수가 오르거나 세부 항목이 개선될 때만 수정본을 받아들입니다. 이 루프가 없으면 시뮬레이션 합격률이 CVPR 19%p, ICLR 22%p 하락합니다. 초안 품질보다 검토-수정 사이클의 기여가 더 큽니다.

다섯째, 이 구조는 논문 밖으로 확장 가능합니다. 긴 복합 문서는 모두 같은 골격을 가집니다. 틀 잡기, 시각화, 근거 수집, 본문 작성, 반복 개선의 5단계입니다. 투자심의서, M&A 검토, 시장 리포트, 내부 전략 문서가 모두 이 틀에 들어맞습니다. PaperOrchestra가 증명한 것은 "AI로 긴 문서 쓰는 법"의 표준 설계도입니다.

토큰 비용이 크게 증가합니다. 5개 에이전트 순차·병렬 호출은 단일 에이전트 대비 5~10배 토큰을 소모합니다. 문헌 검토 에이전트가 후보 논문 본문을 다수 불러오면 비용이 더 커집니다. 파일럿 단계에서 1건당 예상 비용을 먼저 측정해야 합니다.

입력 정보 밀도가 결과 품질을 좌우합니다. 입력이 간결할수록(Sparse Idea) 본문 품질이 떨어집니다(Song et al., 2026). 상세한 입력(Dense Idea)에서는 승률이 43~56%입니다. 간결한 입력에서는 18~24%로 떨어집니다. 사용자가 아이디어를 얼마나 구조화해 입력하느냐가 관건입니다.

시뮬레이션 피어리뷰는 실제 피어리뷰가 아닙니다. 84%의 합격률은 AI 심사관이 준 점수입니다. ScholarPeer와 AI Scientist-v2 Reviewer가 평가했습니다(Song et al., 2026). 실제 학술지 합격률이 아닙니다. 기업 문서에 적용할 때도 "AI 평가"는 "실무 승인"과 다릅니다.

사전학습 데이터 누수 가능성이 있습니다. 벤치마크 논문은 CVPR/ICLR 2025 정식 출판물입니다. LLM이 이미 본문을 기억할 수 있습니다. 연구팀은 익명화와 누수 방지 프롬프트를 적용했지만 완벽한 차단은 아닙니다.

긴 문서는 AI 1명이 아니라 5명의 역할 분담 팀으로 나누어 써야 합니다.

멀티 에이전트 프레임워크: 여러 AI 에이전트가 각자 전문 역할을 맡아 순차 또는 병렬로 협업하는 구조입니다.

LaTeX: 학술 논문 조판에 사용되는 문서 작성 언어입니다. 수식과 참고문헌 처리에 강합니다.

Semantic Scholar API: 학술 논문 메타데이터를 조회하는 API입니다. 논문 존재 검증과 인용 관계 확인에 쓰입니다.

ScholarPeer: AI 기반 논문 심사 시뮬레이션 프레임워크입니다. 사람 심사위원을 모방해 점수와 합격 여부를 판정합니다.

P0 / P1 인용: P0는 반드시 인용해야 할 핵심 선행 연구, P1은 권장 수준의 주변 연구입니다.

Sparse / Dense Idea: 입력 자료의 상세 수준입니다. Sparse는 간단한 아이디어 요약, Dense는 수식과 방법론이 포함된 상세 입력입니다.

• Song, Y., Song, Y., Pfister, T., & Yoon, J. (2026, April). PaperOrchestra: A Multi-Agent Framework for Automated AI Research Paper Writing [Preprint]. arXiv. (원문 보기 ↗)
• Song, Y., Song, Y., Pfister, T., & Yoon, J. (2026, April). PaperOrchestra Project Page [Web]. Google Research. (원문 보기 ↗)