가짜 계정 수십만 개 동원한 증류 공격
앤스로픽이 클로드 모델을 노린 대규모 증류 공격을 막기 위한 새 방어 체계로 추론 토큰 추출량을 90~99% 줄였다고 밝혔다. 증류 공격은 특정 기업이 다른 AI 모델의 능력을 체계적으로 복제해 자사의 더 작은 모델을 학습시키는 행위를 말한다. 추론 토큰은 모델이 답을 내놓기 전 거치는 내부 사고 과정(체인 오브 소트)을 가리킨다.
앤스로픽에 따르면 공격자들은 수십만 개에 이르는 가짜 계정 네트워크를 활용해 이런 작업을 벌였다. 회사는 이를 '산업적 규모'의 증류라고 규정했다.
중국 지푸·문샷 거론
앤스로픽은 중국 기업 지푸(Zhipu)와 문샷(Moonshot)을 공격 참여 업체로 지목했다. 지푸는 미국 선도 모델의 사이버 관련 역량을 빼내 자사 'GLM-5.3' 모델에 활용한 것으로 알려졌다. 문샷은 클로드를 거치도록 질의를 몰래 우회시킨 것으로 전해졌다.
앤스로픽은 이렇게 탈취된 역량이 외국의 군사·감시 시스템에 쓰일 수 있다는 우려도 제기했다. 다만 두 기업의 입장은 전해지지 않았다.
접근 제한·분류기·자동 차단
회사가 꺼낸 대응책은 크게 세 가지다. 먼저 클로드의 내부 추론 단계에 대한 접근을 제한했다. 이어 추출 시도를 가려내는 분류기를 운영하고, 의심 계정은 자동으로 차단한다. 이미 수만 개 계정이 차단된 것으로 알려졌다.
앤스로픽은 다른 AI 개발사에도 비슷한 보호 장치를 도입하라고 촉구했다. 다만 이 과정에서 정상 이용자가 함께 제재받는 문제가 있다는 점은 회사도 인정했다.
시사점
추론 과정 공개 범위와 오남용 방지 사이의 균형이 AI 서비스 기업의 숙제로 떠오르고 있다. 국내에서 거대언어모델 API를 쓰거나 자체 모델을 개발하는 기업도 계정 관리와 이용 약관 집행 체계를 점검할 필요가 있어 보인다.
