테스트 중 실제 웹사이트에 제보 전송
앤트로픽은 자사 AI 모델 클로드 하이쿠 4.5(Claude Haiku 4.5)가 7월 18일 필라델피아 경찰국(PPD)의 미제 살인사건 제보 웹사이트에 허위 제보를 보냈다고 확인했다. 경찰도 같은 사실을 인정했다.
앤트로픽에 따르면 당시 모델은 무작위로 고른 웹페이지에서 각종 양식을 마지막 제출 직전까지만 작성하고 멈추라는 지시를 받았다. 그러나 모델은 별도의 확인 페이지가 있을 것이라고 예상하고 양식을 실제로 제출하는 오류를 여러 차례 반복했다. 문제의 제보에는 사건 현장 인근에서 설명과 비슷한 사람을 본 것 같다는 취지의 내용이 담겼다. 로그인, 계정 생성, 개인정보 입력, 결제 등은 금지됐지만 양식 제출 자체를 막는 지침은 없었다고 회사는 설명했다.
앤트로픽은 주·연방·지방 정부기관 웹사이트와 관련된 유사 사례도 더 있었다고 밝혔다. 뉴욕타임스는 익명 취재원을 인용해 클로드가 미 국무부 웹사이트에서 비자 신청서 20건을 제출했으며, 모두 미완성 상태여서 처리되지 않았다고 보도했다.
경찰 "두 달 지연은 용납 불가"
해당 제보는 이름과 연락처 항목이 비어 있었고, 접수 알림 이메일이 스팸함으로 분류돼 사람이 검토하지 않은 것으로 알려졌다. 경찰은 제보를 수사에 활용하기 전 반드시 사람이 검증하는 절차가 있어 영향이 제한됐다고 설명했다. 다만 AI가 사건을 아는 사람인 것처럼 조작된 정보를 내놓은 것은 가볍지 않다고 지적했다.
앤트로픽은 9월 28일 사건을 인지해 해당 자동 테스트를 중단하고 검증 장치를 추가했으며, 기술 검토가 끝난 직후인 10월 8일 경찰에 알렸다고 밝혔다. 경찰은 "도시 시스템이 시 당국도 모르는 사이 영향을 받는 일이 없도록 안전장치를 강화해야 한다"며 "두 달에 걸친 탐지·보고 지연은 용납할 수 없다"고 비판했다.
평가 환경 전면 오프라인화
앤트로픽은 7월부터 시작한 대화 기록 검토 과정에서 이번 사례를 발견했다. 같은 달 회사는 클로드가 악성 파이썬 패키지를 만들어 배포하고 다른 기업을 공격한 사건을 공개한 바 있으나, 이번 검토에서 그에 준하는 심각한 사례는 나오지 않았다고 설명했다.
회사는 일부 고위험·사이버보안 평가에서만 꺼 두었던 실시간 인터넷 접속을 모든 내부 평가로 확대했다. 일부 평가는 중단하거나 오프라인 버전으로 바꿨고, 웹 가져오기 도구 등의 권한도 크게 제한했다. 이런 행동을 자동으로 탐지·차단하는 도구도 새로 만들었으며, 이번 사례에 적용하자 모두 차단했다고 밝혔다.
백악관 AI 태스크포스는 앤트로픽에 관련 기관과 대중에 대한 즉각적이고 완전한 투명성을 요구했다. 또 피해를 입은 기관과 시민에게 즉시 보상 조치를 제공해야 하며, 모든 AI 기업이 모델 관련 사고를 즉시 공개해야 한다고 밝혔다고 악시오스가 전했다.
