구글 딥마인드가 이중맹검 AI 평가를 처음 시범 운영했습니다. 평가 기관은 모델 가중치를, 구글은 평가 문항을 보지 못하는 방식입니다.
하드웨어 암호화 구역 안에서 제미나이 2.5 플래시 라이트를 비공개 문항으로 채점했습니다. 싱가포르 AISI, MLCommons, AVERI, OpenMined가 참여했습니다.
벤치마크 오염은 계약만으로 막기 어렵습니다. 벤더 점수는 참고치로 두고, 어떤 모델도 본 적 없는 자사 문항으로 따로 재야 합니다.
벤더가 내민 벤치마크 점수,
그 모델이 시험지를 미리 보지 않았다고 확인해 보셨습니까?
시험 전에 문제지를 본 학생의 만점은 실력의 증거가 되지 못합니다. 딥마인드는 지금 AI 평가가 이런 처지라는 지적으로 글을 엽니다. 모델이 평가 문항을 미리 학습했다면 점수는 부풀려집니다.
AI 도입을 검토하는 회사는 대부분 벤더가 제시한 벤치마크 점수로 모델을 비교합니다. 그 점수의 오염 여부를 검증할 방법은 지금까지 거의 없었습니다. 딥마인드가 8월 27일 공개한 시범 평가는 이 문제에 처음으로 기술적 해법을 내놓았습니다.
딥마인드 기술 보고서가 인용한 선행 연구를 보면 벤치마크 오염은 흔한 일입니다. 31개 모델을 조사한 연구에서 약 절반이 학습 과정에서 벤치마크 데이터를 접한 흔적을 보였습니다. 오염이 성능 점수를 부풀리고, 모델이 클수록 부풀림도 커진다는 연구도 있습니다. 한 프런티어 연구소가 비공개 변형 27개를 순위표에 시험하고 최고점만 공개한 사례도 보고됐습니다. 모델 선정을 점수표에만 의존하는 조직일수록 이 리스크에 크게 노출됩니다.
첫째, 외부 평가는 늘 한쪽이 리스크를 떠안는 거래였습니다. 평가 기관이 문항을 넘기면 모델 회사가 시험지를 미리 볼 수 있었습니다. 모델 회사가 가중치를 넘기면 지식재산이 새어 나갈 위험이 생겼습니다. 딥마인드는 이 거래 구조의 해소를 이번 시범의 목적으로 밝혔습니다.
둘째, 두 자산을 암호화된 방 하나에 넣고 결과만 꺼냈습니다. 구글 클라우드의 컨피덴셜 스페이스 안에서 모델 가중치와 평가 문항을 함께 돌렸습니다. 평가 기관은 제미나이 가중치를 볼 수 없고, 구글은 평가 문항을 볼 수 없습니다. 평가가 끝나면 평가 기관은 집계 지표만 받고, 암호화 환경은 폐기됩니다.
| 방식 | 평가 기관이 떠안는 리스크 | 모델 회사가 떠안는 리스크 |
|---|---|---|
| API로 평가 | 문항이 평문으로 모델 회사에 노출 | 없음 |
| 가중치 제공 | 없음 | 지식재산 유출 |
| 계약·무기록 약속 | 상대를 믿어야 함 | 상대를 믿어야 함 |
| 이중맹검 평가 | 하드웨어·암호로 차단 | 하드웨어·암호로 차단 |
출처: Google DeepMind (2026, August 27), 블로그 및 기술 보고서 내용 재구성.
셋째, 시험지는 어떤 모델도 본 적 없는 예비 문항이었습니다. 문항은 MLCommons의 AI 안전 벤치마크 AILuminate에서 가져왔습니다. 그중에서도 한 번도 모델에 입력된 적 없는 예비 세트를 썼습니다. 화생방·폭발물, 사이버 공격, 혐오 표현, 자해, 폭력 범죄를 유도하는 문항들입니다. 싱가포르 AISI는 싱가포르 맥락의 유해 콘텐츠 유도 문항을 별도로 제공했습니다.
넷째, 계약과 무기록 약속은 신뢰에 기댑니다. 기존에도 외부 평가 문항은 무기록 절차와 계약으로 보호했습니다. 보고서는 이런 장치로는 실수에 의한 유출까지 막지 못한다고 지적합니다. 평가 문항이 다음 학습 데이터에 섞여 들어가는 일은 고의가 없어도 생깁니다. 이번 시범은 신뢰 대신 하드웨어 증명으로 이 유출 경로를 차단하려는 시도입니다.
다섯째, 남은 병목은 사람 사이의 조율입니다. 보고서는 연산 부담이 더는 걸림돌이 아니라고 적었습니다. 지금 시간이 드는 곳은 법률 합의와 코드 검토입니다. 연구진은 이 평가가 웹 브라우저의 HTTPS 자물쇠 같은 표준 절차가 되기를 바랍니다. 사용자는 암호 원리를 몰라도 자물쇠 표시만 보고 사이트를 믿습니다.
여섯째, 기업 구매자에게는 점수의 출처를 묻는 근거가 생겼습니다. 같은 벤더 점수라도 누가, 어떤 문항으로, 어떤 환경에서 쟀는지에 따라 신뢰도가 다릅니다. 공개 벤치마크 점수에는 오염 가능성이 늘 따라붙습니다. 독립 기관이 비공개 문항으로 잰 점수가 더 믿을 만합니다. 이번 시범으로 그런 점수를 실제로 산출할 수 있음이 확인됐습니다.
보고서에는 기업이 바로 쓸 수 있는 구분도 하나 있습니다. 공개 가중치 모델은 평가자가 내려받아 자기 장비에서 돌리면 문항이 새지 않습니다. 반면 폐쇄형 모델을 API로 평가하면 문항이 평문으로 모델 회사에 전달됩니다. 모델 유형에 따라 자사 평가 문항을 지키는 비용이 달라집니다.
다만 제미나이가 받은 점수는 이번 발표에 없습니다. 보고서는 평가 방법과 절차만 설명하고 채점 결과는 공개하지 않았습니다.
실제 업무 요청, 과거 실패 사례, 규정 위반을 유도하는 문항을 섞습니다. 인터넷에 올리지 않고, 담당자 2~3명만 접근하게 둡니다. 모델을 바꿀 때마다 같은 문항으로 다시 잽니다. (팀 기준 반나절)
AILuminate처럼 어떤 모델에도 넣지 않은 문항을 따로 보관합니다. 상시 문항 점수와 예비 문항 점수가 크게 벌어지면 상시 문항이 유출됐다는 신호입니다. (문항 작성 시 함께)
"누가 쟀습니까, 문항은 공개입니까 비공개입니까, 오염 점검을 했습니까." 답이 모호하면 그 점수는 참고치로만 씁니다. (다음 벤더 미팅)
평가 데이터의 학습 사용 금지와 보관 기간을 계약서에 명시합니다. 보고서가 지적했듯 계약은 신뢰에 기대므로, 핵심 문항은 주기적으로 교체합니다. (다음 계약 갱신 시)
구글이 모델 소유자이면서 검증 경로까지 쥐고 있습니다. 암호화 환경은 구글 클라우드에서 돌았고, 증명서 서명과 검증도 구글 서비스에 의존했습니다. 보고서도 이 구조 탓에 구글을 더 믿어야 한다는 점을 직접 인정했습니다.
모든 코드를 들여다보지는 못했습니다. 연구진은 공학적 부담이 너무 커서 제미나이를 공개 라이브러리만으로 돌리는 방안을 포기했습니다. 일부 독점 코드는 검사하지 못한 채 남았고, AVERI는 이를 알고 수락했습니다. 운영체제 빌드도 독립적으로 재현할 수 없었습니다.
경량 모델 한 개로 진행한 시범입니다. 대상은 제미나이 2.5 플래시 라이트였고, 장비는 H100 GPU 한 장이었습니다. 연구진은 수조 개 매개변수의 대형 모델이라면 여러 대를 묶은 암호화 클러스터가 필요하다고 밝혔습니다.
하드웨어 제조사와 클라우드를 믿는다는 전제가 남습니다. 이 방식은 클라우드 사업자와 칩 제조사가 결탁하지 않는다고 가정합니다. 믿어야 할 대상이 줄었을 뿐, 신뢰가 필요 없어진 것은 아닙니다.
평가 결과가 공개되지 않았습니다. 절차가 실현 가능하다는 점은 확인했지만, 점수가 어떻게 달라지는지는 알 수 없습니다. 오염 없는 평가 점수가 기존 점수와 얼마나 다른지는 후속 발표를 봐야 합니다.
점수를 보기 전에 누가 어떤 시험지로 쟀는지부터 물어야 합니다. 가장 믿을 만한 시험지는 자사 안에 있습니다.
벤치마크 오염: 평가 문항이 학습 데이터에 섞여 점수가 실력보다 높게 나오는 현상입니다.
이중맹검 평가: 평가 기관과 모델 회사가 서로의 자산을 보지 못하는 상태로 진행하는 평가입니다.
모델 가중치: 학습으로 얻은 모델의 내부 수치 전체입니다. 모델 회사의 핵심 지식재산입니다.
기밀 컴퓨팅: 칩이 메모리 속 데이터를 하드웨어 수준에서 암호화하는 기술입니다. 클라우드 사업자도 내용을 보지 못합니다.
원격 증명: 암호화 환경에서 실행 중인 소프트웨어를 칩의 비밀 키로 서명해 외부에 증명하는 절차입니다.
AISI: 각국 정부가 세운 AI 안전 연구소입니다. 영국, 싱가포르 등이 운영합니다.
- Isaac, W., Messing, S., & Lum, K. (2026, August 27). Piloting the world's first double-blind AI evaluations [Article]. Google DeepMind. (원문 보기 ↗)
- Trask, A., Messing, S., et al. (2026, August). Double Blind Evals: Resolving the Dual Confidentiality Dilemma in AI Safety Auditing [Technical Report]. Google DeepMind. (원문 보기 ↗)