카파시가 2026년 3월 공개한 AutoResearch는 Claude 에이전트가 train.py 한 파일만 수정하며 5분씩 실험을 반복하는 ML 연구 자동화 프레임워크입니다.
에이전트는 git 브랜치를 만들고, 5분 학습을 돌리고, val_bpb로 성과를 판정해 개선되면 머지, 아니면 리셋합니다. H100 1장으로 하룻밤 100회, 이틀에 700회입니다.
공개 1주일 만에 스타 3만 개를 넘었고, 커뮤니티가 macOS·Windows·AMD 버전을 만들어내며 실제 작동을 확인했습니다.
밤새 100번 실험하는 AI 연구원이 나왔습니다.
당신의 R&D팀은 아직 주간 회의에서 실험 1건을 보고하고 있습니까?
카파시는 테슬라 AI 총괄, OpenAI 창립 멤버 출신입니다. 그가 만든 AutoResearch는 630줄 파이썬 코드로, AI 에이전트가 인간 연구자의 실험 사이클을 대체할 수 있는지를 실증하는 도구입니다. 공개 1주일 만에 스타 3만 개를 넘었고, Shopify CEO 토비아스 루트케는 37회 실험으로 19% 성능 향상을 냈습니다(Fortune).
카파시는 2025년 2월 "바이브 코딩"을 제시했습니다. 인간이 의도를 말하면 AI가 코드를 쓰는 방식이었습니다. AutoResearch는 한 단계 더 나아갑니다. 인간이 program.md에 방향을 적으면, 에이전트가 코드를 수정하고 실험을 반복합니다. 인간의 역할이 "코드 작성자"에서 "실험 설계자"로 이동하는 것입니다.
이틀간 700회 실험에서 개선 20건을 찾았습니다. 12레이어 소형 모델에서 발견한 개선이 24레이어 대형 모델에 그대로 전이됐고, 8xH100 기준 GPT-2 수준 학습 시간이 2.02시간에서 1.80시간으로 단축됐습니다. 11% 효율 향상이 이틀 만에 나온 결과입니다.
시스템을 구성하는 파일은 3개입니다. prepare.py는 데이터와 평가 함수를 고정하고, train.py는 에이전트가 유일하게 수정하는 파일입니다. program.md는 인간이 쓰는 연구 지침서로, 카파시는 "이 파일의 90%는 AI가 썼다"고 밝혔습니다.
이 루프는 7단계 사이클로 작동합니다.
연구 방향, 제약 조건, "NEVER STOP" 지시를 확인합니다.
아키텍처, 옵티마이저(Muon+AdamW), 하이퍼파라미터 중 하나 이상을 바꿉니다. prepare.py는 건드리지 않습니다.
변경 사항을 feature 브랜치에 커밋합니다. 실험 추적은 git으로 합니다.
벽시계 기준 정확히 5분입니다. H100 1장 기준 시간당 12회 실험이 가능합니다.
prepare.py의 evaluate_bpb 함수가 bits-per-byte 값을 냅니다. 낮을수록 좋습니다.
이전 기록보다 val_bpb가 낮으면 머지, 높으면 git reset으로 되돌립니다.
인간이 멈출 때까지 반복합니다. 에이전트는 스스로 멈추지 않습니다.
카파시는 이를 "LLM을 변이 함수로 쓰는 힐 클라이밍"이라고 설명합니다. 가설 제안부터 코드 구현, 결과 검증에 이르는 연구자의 사고 루프 전체를 자동화한 구조입니다.
첫째, val_bpb(validation bits-per-byte)는 자동화를 가능하게 하는 지표입니다. 일반적인 토큰 손실은 어휘 크기에 따라 값이 달라져, 에이전트가 토크나이저를 바꾸면 이전 실험과 비교할 수 없게 됩니다. val_bpb는 바이트 단위로 정규화해 어휘 크기에 무관하며, prepare.py에 고정되어 있어 에이전트가 평가 기준을 임의로 조작할 수 없습니다.
둘째, 소형 모델 실험 결과가 대형 모델에 전이됩니다. 12레이어 모델에서 찾은 개선 20건을 24레이어 모델에 적용했습니다. GPT-2 수준 학습 시간이 8xH100 기준 2.02시간에서 1.80시간으로 단축됐습니다. 작은 모델로 가설을 빠르게 검증하고 큰 모델로 전이하는 방식이 실증됐습니다.
셋째, Claude만 이 루프를 완주합니다. 카파시는 Claude와 Codex를 모두 테스트했습니다. Codex는 "NEVER STOP" 지시를 무시하고 루프를 멈췄지만, Claude는 지시를 따르며 끝까지 실험을 완주했습니다. 어떤 LLM을 선택하느냐가 실험 완료율 자체를 결정하는 셈입니다.
넷째, 공개 7일 만에 커뮤니티가 3개 플랫폼 버전을 만들었습니다. Apple Silicon(MLX), Windows RTX, AMD ROCm 버전이 등장했습니다. Apple M4 Max에서 val_bpb가 2.667에서 1.294로 내려갔습니다. 단일 GPU, 파일 3개, MIT 라이선스라는 단순함이 이 확장을 가능하게 했습니다.
하룻밤 100회는 인간 연구자 5~7주치에 해당합니다. 인간이 하루 2~3회 실험한다고 가정했을 때 나오는 수치입니다. H100 8시간 비용은 24~32달러(Lambda Labs 기준)인 반면, 같은 실험량을 인간이 수행하면 인건비 격차는 수십 배에 달합니다.
Shopify CEO 토비아스 루트케는 37회 실험으로 19% 향상을 냈습니다. Fortune(2026년 3월)이 보도한 수치입니다. CEO가 직접 오버나이트 실험을 돌렸다는 사실은 이 도구의 진입 장벽이 낮다는 증거입니다.
이틀 700회, 개선 20건, 학습 시간 11% 단축. 인간 연구팀이 같은 효율 개선을 달성하려면 수개월이 걸리는 분량입니다. 실험 속도의 차이가 결국 R&D 역량의 격차로 이어지고 있습니다.
"인간은 .md를, AI는 .py를 반복 개선한다"는 구조를 팀이 이해하게 합니다. (30분)
uv sync → python prepare.py 실행 후, Claude에게 "program.md를 보고 실험을 시작하라"고 지시합니다. 5분 후 val_bpb가 내려가면 에이전트가 작동 중입니다. (설치 15분 + 첫 사이클 5분)하이퍼파라미터 튜닝, A/B 테스트, 모델 비교 중 평가 지표가 단일 수치로 떨어지는 것이 자동화 1순위입니다. (팀 미팅 1시간)
"무엇을 최적화하고, 무엇은 건드리지 않고, 언제까지 실행하라"를 자연어로 적습니다. 이 문서가 명확할수록 에이전트의 방향이 정확해집니다. (2시간)
5분 결과가 장기 수렴을 보장하지 않습니다. 5분 예산은 초기 학습 동태를 포착하는 데 적합하지만, 장기 수렴에서는 결과가 달라질 수 있습니다. GPU 종류에 따라 5분 동안의 학습 단계 수도 달라지기 때문에, H100 결과를 RTX 3090과 직접 비교하는 것도 주의가 필요합니다.
에이전트가 지표를 우회할 수 있습니다. prepare.py는 고정되어 있지만, train.py 안에서 학습 단계 수를 늘리거나 데이터 인터페이스를 조작해 실제 개선 없이 val_bpb를 낮추는 것이 가능합니다. 여기에 더해 학습 로그를 통한 프롬프트 인젝션 위험도 배제할 수 없습니다.
프로덕션 규모 적용은 검증되지 않았습니다. train.py는 630줄이지만, 실제 프로덕션 코드는 수만 줄입니다. 분산 학습, 다중 GPU, 복잡한 의존성 환경은 현재 범위 밖입니다. PoC 수준에서 시작하는 것이 적절합니다.
데이터셋 출처가 불명확합니다. karpathy/climbmix-400b-shuffle은 Hugging Face에 공개되어 있지만 README가 거의 비어 있습니다. 상업적 활용 시 라이선스와 출처를 별도로 검토해야 합니다.
스타 3만 개와 기술 가치는 분리해야 합니다. 상당 부분은 프로젝트보다 카파시라는 이름에서 왔습니다. 핵심 아이디어는 유효하지만, 모든 ML 연구에 적용 가능하다고 일반화하면 과도한 해석입니다.
AI 에이전트가 인간 연구자의 실험 사이클을 대체하기 시작했습니다. 실험 속도가 R&D 경쟁력인 조직이라면, 이 루프를 무시할 수 없는 단계입니다.
리더들의 인사이트를 놓치지 마세요. 매주 핵심만 정리해 보내드립니다.
- Karpathy, A. (2026, March 7). autoresearch. GitHub. (원문 보기 ↗)
- Karpathy, A. (2026, March 7). AutoResearch 공개 발표 [Post]. X. (원문 보기 ↗)
- Fortune. (2026, March 17). The Karpathy Loop: 700 experiments, 2 days [Article]. (원문 보기 ↗)
- VentureBeat. (2026, March). Andrej Karpathy's new open source 'autoresearch' lets you run hundreds of AI experiments overnight [Article]. (원문 보기 ↗)
- MarkTechPost. (2026, March 8). Andrej Karpathy Open-Sources Autoresearch: A 630-Line Python Tool [Article]. (원문 보기 ↗)
- Lambda Labs. (2026). GPU Cloud Pricing [Web page]. (원문 보기 ↗)