Transformer의 잔차 연결은 모든 층의 출력을 동일 가중치로 더합니다. 모델이 깊어질수록 초기 층의 기여가 희석되는 구조적 결함입니다.
Kimi 팀이 제안한 Attention Residuals는 각 층이 이전 층의 출력을 어텐션으로 선택합니다. 입력에 따라 어떤 층의 정보를 가져올지 동적으로 결정합니다.
기존 모델에 드롭인(drop-in)으로 적용할 수 있습니다. 스케일링 법칙 실험에서 모델 크기와 무관하게 일관된 성능 향상을 확인했습니다.
Transformer의 잔차 연결은 2017년부터 한 번도 바뀌지 않았습니다.
모든 층의 기여를 동일하게 더하는 게 최선이라고, 누가 증명했습니까?
GPT, Claude, Gemini. 이름은 다르지만 기반 구조는 같습니다. 모두 Transformer입니다. 그 Transformer에서 가장 기본적인 구성 요소 하나가 바뀌기 시작했습니다. 잔차 연결(residual connection)입니다. 중국 AI 스타트업 Moonshot AI의 Kimi 팀(36명)이 이 설계의 한계를 진단하고, "Attention Residuals"라는 대안을 발표했습니다.
LLM 경쟁이 모델 크기에서 아키텍처 효율로 전환되고 있습니다. 같은 컴퓨팅 예산으로 더 나은 성능을 내는 것이 다음 경쟁의 축입니다. Kimi 팀은 480억 파라미터(30억 활성화) MoE 모델을 1.4조 토큰으로 훈련해 검증했습니다. 잔차 연결은 모든 Transformer 모델의 공통 요소입니다. 이 개선은 특정 모델이 아니라 아키텍처 전체에 영향을 줍니다. (출처: arXiv, 2026년 3월)
이 논문에서 주목할 포인트는 4가지입니다.
첫째, 기존 잔차 연결의 문제: "모든 의견을 똑같이 취급하는 회의"
Transformer의 각 층은 이전 층의 결과에 자기 계산 결과를 1:1로 그냥 더합니다. 1층이든 50층이든 기여도가 동일합니다. 100층짜리 모델에서 1번째 층의 정보는 99번의 무차별 덧셈에 묻힙니다.
둘째, Attention Residuals: "안건별로 가장 적합한 전문가를 선별하는 회의"
기존 방식이 모든 참석자의 발언을 동일하게 회의록에 기록하는 것이라면, Attention Residuals는 안건에 따라 가장 관련 있는 전문가의 의견에 더 큰 비중을 두는 것입니다. 각 층이 "지금 이 입력에는 3번째 층의 정보가 중요하다"고 스스로 판단합니다. 가중치는 학습으로 결정되며, 입력에 따라 동적으로 변합니다.
셋째, Block AttnRes: 메모리 비용을 잡은 실용적 해법
모든 층에 대해 일일이 어텐션을 계산하면 메모리가 폭발합니다. Kimi 팀은 층을 8개씩 묶어 블록 단위로 어텐션을 적용하는 Block AttnRes를 만들었습니다. 기존 코드에 거의 변경 없이 적용할 수 있는 드롭인 대체(drop-in replacement)입니다.
넷째, 모델이 커져도 일관되게 성능이 좋아집니다.
모델 크기를 바꿔가며 실험한 결과, Attention Residuals는 크기와 무관하게 일관된 성능 향상을 보였습니다. Block AttnRes는 동일 성능 기준으로 1.25배의 컴퓨팅 효율을 달성했습니다.
| 벤치마크 | Baseline | Block AttnRes | 향상폭 |
|---|---|---|---|
| MMLU (지식) | 60.1 | 61.4 | +1.3 |
| GPQA-Diamond (추론) | 20.2 | 27.7 | +7.5 |
| Minerva Math (수학) | 22.8 | 26.4 | +3.6 |
| HumanEval (코딩) | 41.5 | 44.6 | +3.1 |
| GSM8K (수학) | 55.3 | 56.2 | +0.9 |
비효율적 아키텍처는 컴퓨팅 예산을 낭비합니다. 초기 층의 정보가 희석되면, 같은 품질의 출력을 내기 위해 더 많은 파라미터가 필요합니다. 2026년 기준 대형 LLM의 훈련 비용은 수천만 달러에 달합니다. 아키텍처 수준의 효율 개선은 같은 예산으로 더 나은 모델을 만들거나, 같은 성능을 더 적은 비용으로 달성할 수 있다는 의미입니다.
모델 선택 기준이 파라미터 수에서 아키텍처 효율로 이동합니다. LLM을 도입하는 기업 입장에서, 파라미터 수가 큰 모델이 반드시 좋은 모델은 아닙니다. 잔차 연결 같은 기본 설계의 효율성에 따라 작은 모델이 큰 모델을 능가할 수 있습니다. 벤더 선택 시 아키텍처 세부 사항을 평가하지 않으면, 비용 대비 성능에서 불리한 선택을 할 수 있습니다.
LLaMA, Mistral, Qwen 등 오픈소스 모델은 대부분 표준 잔차 연결을 쓰고 있습니다. 자사 모델의 잔차 연결 방식이 무엇인지 ML 엔지니어에게 확인합니다. (30분)
드롭인 대체를 주장하는 만큼, 기존 파인튜닝 파이프라인에 적용 가능한지 ML 엔지니어와 함께 평가합니다. 논문의 코드와 Kimi Linear 모델 공개 여부를 확인합니다. (2시간)
현재 모델에서 각 층이 최종 출력에 얼마나 기여하는지 시각화합니다. PyTorch의 hook 기능으로 각 층의 출력 노름(norm)을 측정하면, 희석이 심한 구간을 파악할 수 있습니다. (반나절)
검증 범위가 특정 모델에 한정됩니다. 이 연구는 Kimi Linear(480억 파라미터, 30억 활성화)라는 MoE 아키텍처에서 검증됐습니다. Dense 모델이나 다른 MoE 구조에서 동일한 효과가 나오는지는 추가 실험이 필요합니다.
블록 크기 선택에 트레이드오프가 있습니다. 블록을 너무 크게 잡으면 표준 잔차 연결과 차이가 줄어들고, 너무 작게 잡으면 메모리 비용이 증가합니다. 최적 블록 크기는 모델 구조와 태스크에 따라 달라집니다.
커뮤니티 재현 검증이 아직 부족합니다. 2026년 3월 16일 공개된 논문으로, 독립적인 재현 실험이 충분히 진행되지 않았습니다. 실 서비스 적용은 재현 결과를 확인한 뒤 검토하는 것이 합리적입니다.
Transformer의 가장 기본적인 설계도 개선 여지가 있습니다. 모델을 키우는 것만이 답이 아닙니다. 기존 구조를 잘 바꾸는 것이 더 효율적일 수 있습니다.
- Kimi Team. (2026, March 16). Attention Residuals [Preprint]. arXiv:2603.15031. (원문 보기 ↗)