앤스로픽(Anthropic)은 현지시간 3일 블로그 글을 통해 AI 모델이 만든 출력물이 어떤 모델에서 나왔는지 검증하는 오픈소스 시스템 '플래시프루브(FlashProve)'를 연구 중이라고 밝혔다. 연구진은 이 시스템이 '증명 가능한 추론(provable inference)', 즉 특정 출력이 특정 모델에서 나왔다는 암호학적 증명을 제공하도록 설계됐다고 설명했다.
이메일 서명처럼 AI 모델 출처를 확인
연구진은 플래시프루브를 수신자가 발신자를 확인하게 해 주는 암호화 이메일 서명에 비유했다. 한 모델을 다른 모델인 것처럼 속이려는 시도를 막을 수 있으며, 그 주체가 모델을 만들고 운영하는 AI 기업 자신이라도 마찬가지라는 설명이다. 예를 들어 비용 절감을 위해 저렴한 모델로 몰래 바꾸거나, 성능 평가 결과를 부풀리려고 더 비싼 모델을 투입하는 행위를 방지할 수 있다는 것이다.
제3자의 주장을 검증하는 데에도 쓸 수 있다. 연구진은 "개발자가 자사 소프트웨어 라이브러리를 최첨단 보안 모델로 점검했다고 주장하거나, 기업이 사업 계획을 적절한 모델이 승인했다고 주장할 수 있다"며 "사용자가 이런 주장을 어떻게 검증할 수 있겠느냐"고 문제를 제기했다.
모델 가중치 공개 없이 '지문'으로 검증
작동하려면 AI 연구소가 출시하는 모델마다 '지문(fingerprint)'을 공개해야 한다. 이 지문은 이후 개별 출력과 대조해 암호학적으로 검증할 수 있다. 핵심은 지문이 모델의 동작을 규정하는 내부 수치인 가중치를 드러내지 않는다는 점이다. 앤스로픽과 오픈AI(OpenAI) 같은 폐쇄형 모델 개발사가 비공개로 유지하는 가중치를 노출하지 않고도 지문을 공개할 수 있어, 상용 모델에도 적용할 수 있다. 시스템은 가볍게 설계돼 사용자의 로컬 기기에서도 검증이 가능하다.
중간 단계 연구 결과 공개
연구진은 상세한 기술 명세와 시스템 주요 요소의 작동 코드를 깃허브(GitHub)에 오픈소스 라이선스로 공개했다. 연구진은 "이번 글은 완성된 연구 과제가 아니라 중간 진행 상황을 공유하려는 것"이라며 "다른 연구자들이 우리 결과를 가져가 개선해 주기를 바란다"고 밝혔다.
AI 서비스의 모델 바꿔치기 의혹이 종종 제기되는 만큼, 국내 AI 서비스 기업과 이를 도입하는 기업도 향후 이런 검증 기술의 발전을 지켜볼 필요가 있어 보인다.
