Benchmark Contamination과 Double-Blind Evaluation
새로운 AI 모델이 공개될 때마다 다양한 벤치마크 점수가 함께 발표됩니다. 추론, 수학, 코딩, 안전성 등 모델의 능력을 하나의 숫자로 비교할 수 있기 때문에 벤치마크는 AI 모델의 성능을 판단하는 대표적인 기준으로 활용되고 있습니다.
하지만 모델의 학습 데이터가 점점 방대해지면서 한 가지 질문이 중요해지고 있습니다.
모델이 평가 문제를 이미 본 적이 있다면, 그 점수를 그대로 믿어도 될까요?
학생이 시험 문제를 미리 본 상태에서 높은 점수를 받았다면 그 결과만으로 실제 실력을 판단하기 어렵습니다. AI 모델 평가에서도 비슷한 문제가 발생할 수 있습니다.
Google DeepMind는 최근 이러한 문제를 줄이기 위한 새로운 평가 방식으로 Double-Blind Evaluation(DBE)을 시범적으로 구현했습니다.
이번 글에서는 AI 벤치마크가 어떤 문제를 가지고 있는지, 그리고 Double-Blind Evaluation이 이를 어떻게 해결하려 하는지 살펴보겠습니다.
벤치마크 점수는 항상 모델의 실제 성능을 의미할까?
일반적으로 AI 모델은 학습에 사용하지 않은 별도의 평가 데이터를 이용해 성능을 측정합니다.
모델이 처음 보는 문제를 잘 해결한다면, 학습 데이터를 단순히 외운 것이 아니라 새로운 문제에도 잘 대응한다고 판단할 수 있기 때문입니다.
하지만 LLM은 웹 문서, 코드, 논문 등 매우 방대한 데이터를 학습합니다. 이 과정에서 공개된 벤치마크 문제가 그대로 포함되거나, 매우 유사한 데이터가 학습에 사용될 가능성이 있습니다.
이러한 현상을 Benchmark Contamination, 즉 벤치마크 오염이라고 합니다.
정상적인 평가에서는 모델이 처음 보는 문제를 통해 성능을 측정합니다.
반면 평가 문제가 학습 과정에 포함되었다면 모델이 높은 점수를 기록하더라도 그것이 실제 문제 해결 능력 때문인지, 이미 비슷한 문제를 접했기 때문인지 구분하기 어려워집니다.
즉, 높은 Benchmark Score = 높은 일반화 성능이라고 항상 단정할 수는 없습니다.
모델이 강력해질수록 단순히 점수가 얼마나 높은지만큼이나 그 점수가 어떤 데이터와 환경에서 만들어졌는지가 중요해지고 있습니다.
그렇다면 평가 데이터를 비공개로 만들면 되지 않을까?
Benchmark Contamination을 줄이는 가장 직관적인 방법은 평가 문제를 공개하지 않는 것입니다.
평가 기관만 비공개 Test Set을 보유하고 직접 모델을 평가하면, 해당 문제가 모델 개발 과정에 활용되는 것을 줄일 수 있습니다.
하지만 여기서 또 다른 문제가 발생합니다.
Gemini와 같은 Proprietary Model을 외부 기관이 평가한다고 가정해보겠습니다.
평가 기관이 비공개 Benchmark를 모델 제공자의 API로 보내면, 평가 데이터가 모델 제공자의 시스템을 통과하게 됩니다.
이 경우 평가 기관 입장에서는 비공개 평가 문제가 모델 제공자에게 노출될 가능성을 고려해야 합니다.
반대로 모델 제공자가 Model Weight를 평가 기관에 전달하면 이번에는 기업의 핵심 모델과 지식재산이 외부에 노출될 수 있습니다.
결국 양쪽 모두 숨기고 싶은 것이 있습니다.
- Evaluator는 평가 문제를 공개하고 싶지 않습니다.
- Model Owner는 모델과 핵심 IP를 공개하고 싶지 않습니다.
DeepMind 기술 보고서에서는 이를 Dual Confidentiality Dilemma라고 설명합니다.
문제의 핵심은 어느 한쪽을 더 신뢰할 것인가가 아닙니다.
모델과 평가 데이터, 두 비공개 자산을 모두 보호하면서 평가할 방법이 필요하다는 것입니다.
Double-Blind Evaluation은 어떻게 동작할까?
Double-Blind Evaluation은 이 문제를 해결하기 위해 모델과 평가 데이터를 서로에게 직접 전달하지 않습니다.
대신 두 데이터를 Secure Enclave라는 보호된 실행 환경 안에서만 만나게 합니다.
구조는 비교적 단순합니다.
왼쪽의 Model Owner는 Proprietary Model을 제공하고, 오른쪽의 Evaluator는 비공개 Benchmark를 제공합니다.
두 데이터는 암호화된 상태로 Secure Enclave 내부로 전달됩니다.
이 환경 안에서 모델 추론과 평가가 수행된 뒤, 사전에 허용된 평가 결과만 외부로 반환됩니다.
따라서, Model Owner는 평가 문제를 볼 수 없고, Evaluator는 Model Weight를 볼 수 없습니다.
여기서 Double-Blind라는 이름이 나옵니다.
Secure Enclave를 어떻게 신뢰할 수 있을까?
그렇다면 Secure Enclave 안에서 정말 약속된 평가 프로그램만 실행되고 있다는 것은 어떻게 확인할 수 있을까요?
이를 위해 사용되는 기술이 Remote Attestation입니다.
Remote Attestation은 쉽게 말해 현재 실행 중인 하드웨어와 소프트웨어 환경이 사전에 합의된 구성과 동일한지 암호학적으로 확인하는 과정입니다.
Model Owner와 Evaluator는 데이터를 보내기 전에 Enclave의 실행 환경을 검증합니다.
검증이 완료된 뒤에야 모델과 평가 데이터를 전송하고, 평가가 시작됩니다.
이번 DeepMind의 시범 구현에서는 Google Cloud Confidential Space와 Confidential Computing 기술을 이용해 이러한 환경을 구성했습니다.
즉 기존 평가 방식이
“평가 데이터를 보지 않겠습니다.”
와 같은 계약이나 정책에 의존했다면,
Double-Blind Evaluation은 여기에
“애초에 상대방의 데이터를 볼 수 없도록 실행 환경을 구성하자.”
라는 기술적인 보호 장치를 추가한 접근이라고 볼 수 있습니다.
실제 AI 모델에도 적용했을까?
이 연구는 개념적인 제안에 그치지 않았습니다.
Google DeepMind는 실제 Gemini 2.5 Flash Lite를 이용해 Double-Blind Evaluation을 수행했습니다.
평가에는 MLCommons의 비공개 AILuminate Reserve Set, 즉 이전에 어떤 모델에도 처리되지 않은 평가 문제가 사용되었습니다. 해당 데이터에는 사이버 공격, 자해, 폭력 범죄 유도 등 여러 Safety 관련 영역이 포함되었습니다.
Singapore AI Safety Institute와도 별도의 비공개 Prompt Set을 활용한 평가를 진행했습니다.
이러한 Safety Benchmark는 평가 데이터가 계속 공개될 경우 모델이 특정 문제에 직접적으로 최적화될 가능성이 있기 때문에 비공개성을 유지하는 것이 특히 중요합니다.
Double-Blind Evaluation은 평가 문제를 모델 제공자에게 공개하지 않으면서도 실제 Frontier Model을 평가할 수 있다는 가능성을 보여준 사례라고 할 수 있습니다.
Double-Blind Evaluation이 모든 문제를 해결할까?
물론 Double-Blind Evaluation만으로 AI 평가의 모든 문제가 해결되는 것은 아닙니다.
DBE가 해결하려는 핵심 문제는 모델과 평가 데이터의 비밀성을 동시에 보호하는 것입니다.
하지만 다음과 같은 문제는 여전히 남습니다.
- Benchmark가 실제 사용 환경을 잘 반영하는지
- 평가 문제가 모델의 능력을 적절하게 측정하는지
- 특정 Task에 지나치게 편향되어 있지는 않은지
- 하나의 점수를 모델 전체 성능으로 해석해도 되는지
또한 더 큰 Frontier Model을 평가하려면 여러 GPU와 노드를 활용하는 Confidential Computing 환경도 필요합니다.
DeepMind 역시 이번 시범을 완성된 평가 표준이라기보다는 독립적이고 신뢰할 수 있는 AI 평가를 위한 초기 단계로 설명하고 있습니다.
이제는 ‘몇 점인가’뿐 아니라 ‘어떻게 평가했는가’를 볼 때
지금까지 AI 모델 경쟁에서는 Benchmark Score가 가장 눈에 띄는 지표였습니다.
새로운 모델이 등장하면 자연스럽게 “기존 모델보다 몇 점 높은가?” 를 확인했습니다.
하지만 모델의 성능이 높아지고 학습 데이터의 범위가 넓어질수록 이제는 또 하나의 질문이 필요해지고 있습니다.
“그 점수는 얼마나 신뢰할 수 있는 방식으로 측정됐는가?”
Double-Blind Evaluation은 이러한 질문에 대한 하나의 기술적 시도입니다.
모델 제공자는 핵심 IP를 보호하고, 평가 기관은 비공개 Benchmark를 보호하면서도 독립적으로 모델을 평가할 수 있다면 향후 AI Safety, Cybersecurity, 공공기관의 AI 검증 등 다양한 영역에서 활용될 수 있습니다.
AI 모델을 만드는 기술이 빠르게 발전하는 만큼, 앞으로는 그 모델을 제대로 평가하고 검증하는 기술 역시 함께 중요해질 것입니다.
어쩌면 앞으로 AI 모델의 성능표를 볼 때 가장 먼저 확인해야 할 것은 단순한 숫자가 아니라, 그 숫자가 어떻게 만들어졌는지일지도 모릅니다.
[Reference]
- Google DeepMind, Piloting the world’s first double-blind AI evaluations, 2026.
- Trask et al., Double Blind Evals: Resolving the Dual Confidentiality Dilemma in AI Safety Auditing, 2026.