앤트로픽과 AE Studio가 모델에서 위험한 지식만 떼어내는 기법을 공개했습니다. 학습 중에 해당 지식을 별도 칸막이에 몰아 넣는 방식입니다.
한 번의 학습으로 16가지 능력 구성을 만들 수 있었습니다. 바이러스학, 사이버보안, 핵물리, 특수 프로그래밍 네 범주를 각각 켜고 끕니다.
성능은 기존 데이터 필터링과 같은 수준이었습니다. 다만 최전선 규모에서 검증되지 않았고 클로드에 적용된 적도 없습니다.
모델에서 무엇을 지웠는지 증명할 수 있습니까?
지금까지는 처음부터 다시 학습하는 것 말고 방법이 없었습니다.
AI 모델에서 위험한 지식을 빼는 방법은 지금까지 하나뿐이었습니다. 학습 데이터에서 미리 걸러내는 것입니다.
이 방식에는 값비싼 전제가 있습니다. 무엇을 뺄지 학습 전에 다 정해야 한다는 것입니다. 규제가 바뀌거나 고객 요구가 달라지면 처음부터 다시 학습해야 합니다. 7월 8일 공개된 연구는 그 전제를 흔듭니다.
모델 배포는 점점 환경별로 갈라지고 있습니다. 규제 수준이 다른 나라, 보안 등급이 다른 고객, 용도가 다른 부서가 각기 다른 능력을 요구합니다. 그런데 지금의 기술로는 능력 구성마다 별도 학습이 필요합니다. 비용이 구성 수만큼 곱해집니다. 이 연구가 겨냥한 지점이 그 곱셈입니다.
첫째, 기존 방식의 문제는 되돌릴 수 없다는 점입니다. 데이터 필터링은 학습 전에 위험한 텍스트를 빼는 방법입니다. 효과는 확실하지만 결정이 학습 시점에 굳어집니다. 뒤늦게 어떤 능력을 살리거나 없애려면 학습을 다시 돌려야 합니다. 대형 모델에서 이 비용은 작지 않습니다.
둘째, GRAM은 모델 안에 떼어낼 수 있는 칸막이를 답니다. 정식 명칭은 경사 라우팅 보조 모듈입니다. 학습 중 이중용도 범주의 텍스트를 만나면 해당 범주의 모듈만 학습하게 하고 일반 가중치는 건드리지 않습니다. 바이러스학 텍스트가 들어오면 바이러스학 모듈만 배웁니다. 나중에 그 모듈을 떼면 그 지식만 사라집니다.
셋째, 한 번 학습으로 열여섯 가지 모델이 나옵니다. 시험한 범주는 바이러스학, 사이버보안, 핵물리, 특수 프로그래밍 네 가지입니다. 각 범주를 켜거나 끄는 조합이 2의 4승, 즉 16가지가 됩니다. 학습은 한 번만 돌립니다. 배포 시점에 필요한 구성을 고르는 구조입니다.
넷째, 성능이 기존 방식에 밀리지 않았습니다. 연구진은 5천만 파라미터부터 50억 파라미터까지 여러 크기에서 시험했습니다. 모든 크기에서 GRAM은 데이터 필터링과 같은 수준의 결과를 냈습니다. 유연성을 얻으면서 성능을 내주지는 않았다는 뜻입니다.
다섯째, 경영 관점에서 이것은 배포 전략의 문제입니다. 지금 기업은 하나의 모델을 모든 환경에 같은 모습으로 넣습니다. 능력을 골라 끌 수 있게 되면 선택지가 달라집니다. 규제가 엄한 시장에는 특정 능력을 끈 구성을, 내부 연구 조직에는 켠 구성을 배포하는 방식이 가능해집니다.
조달 문서의 문장도 바뀝니다. 지금은 이 모델이 위험한 답을 하지 않는지 묻습니다. 앞으로는 어떤 능력이 어느 구성에서 꺼져 있는지 증명하라고 물을 수 있습니다. 차단과 제거는 다른 수준의 보증입니다.
여섯째, 다만 이 결과는 아직 실험실 안에 있습니다. 연구진 스스로 네 가지 한계를 명시했습니다. 최전선 규모에서 검증되지 않았고, 실제 제품 학습 과정에 적용되지 않았으며, 클로드에 쓰인 적이 없습니다. 평가도 실제 업무 수행이 아니라 다음 단어 예측 정확도로 이뤄졌습니다.
가장 무거운 한계는 마지막입니다. 어떤 이중용도 능력은 일반 지식과 너무 얽혀 있어 깔끔하게 분리되지 않을 수 있다는 것입니다. 바이러스학을 떼려다 생물학 전반이 무너지는 경우입니다. 이 경계를 어디에 그을지가 다음 과제로 남았습니다.
고객사 요구, 국내 규제, 내부 보안 기준에서 각각 무엇을 막아야 하는지 한 장에 적으세요. 목록이 없으면 어떤 기술이 나와도 고를 수가 없습니다. (이번 달)
"위험한 답을 거부하는가" 대신 "그 능력이 모델에서 제거됐음을 어떻게 증명하는가"를 물으세요. 두 답은 보증 수준이 다릅니다. (다음 조달부터)
시장, 고객 등급, 부서를 축으로 표를 그리면 필요한 구성 수가 나옵니다. 그 수가 재학습 비용의 배수입니다. (이번 분기)
아직 최전선 모델에 적용된 적이 없습니다. 분기마다 진행 상황만 확인하고, 제품 계획에는 넣지 마세요. (분기 점검)
최전선 규모에서 검증되지 않았습니다. 시험한 최대 크기는 50억 파라미터입니다. 오늘 기업이 쓰는 모델보다 훨씬 작습니다. 규모가 커질 때 같은 결과가 나올지는 확인되지 않았습니다.
클로드에 적용된 적이 없습니다. 앤트로픽이 협업한 연구지만 자사 제품에 쓰이지 않았습니다. 연구 결과와 제품 반영 사이에는 시차가 있습니다.
평가 방식이 실제 업무와 다릅니다. 다음 단어를 얼마나 잘 맞히는지로 능력을 쟀습니다. 실제 과제를 수행하는 능력이 같은 방식으로 제거되는지는 별도 검증이 필요합니다.
지식이 얽혀 있으면 분리가 안 됩니다. 연구진은 일부 이중용도 능력이 일반 지식과 지나치게 얽혀 있을 수 있다고 적었습니다. 이 경우 칸막이를 떼면 필요한 능력까지 함께 사라집니다.
위험한 능력을 막는 것과 없애는 것은 다릅니다. 그 차이를 증명할 방법이 생기면 모델 조달의 질문도 바뀝니다.
이중용도(Dual-use) 지식: 정당한 연구에도 쓰이고 공격에도 쓰일 수 있는 지식입니다. 바이러스학이나 취약점 분석이 대표적입니다.
GRAM: 경사 라우팅 보조 모듈의 약자입니다. 특정 범주의 지식만 별도 모듈에 몰아 학습시켜 떼어낼 수 있게 만드는 기법입니다.
데이터 필터링: 학습 전에 위험한 텍스트를 데이터셋에서 빼는 기존 방식입니다. 되돌리려면 재학습이 필요합니다.
파라미터: 모델이 학습으로 조정하는 내부 수치의 개수입니다. 모델 규모를 나타내는 단위로 쓰입니다.
가중치 동결: 학습 중 특정 부분의 수치를 바꾸지 않고 고정하는 처리입니다. 이 연구에서는 일반 지식 영역을 지키는 데 씁니다.
- Anthropic. (2026, July 8). An off switch for dual-use knowledge in AI models [Article]. Anthropic. (원문 보기 ↗)