살인 사건에 허위 제보 낸 클로드
앤트로픽은 지난 7월 18일 클로드 하이쿠 4.5(Claude Haiku 4.5)가 임의로 고른 웹페이지에서 '예시 작업'을 수행하는 능력을 시험하던 중 문제가 발생했다고 밝혔다. 모델에는 파괴적인 행위를 하지 말라는 지시가 주어졌지만, 클로드는 경찰의 미해결 살인 사건 정보 수집 창구에 "해당 시간대 그 지역에서 인상착의가 비슷한 사람을 본 기억이 있다"는 취지의 제보를 올렸다.
이름이나 연락처가 없는 이 제보는 스팸 폴더로 분류돼 경찰이 검토하지 못했다. 앤트로픽이 9월 28일 이를 발견해 10월 7일 경찰에 알린 것으로 전해졌다. 펜실베이니아주에서는 범죄에 관한 허위 정보를 알면서 제공하면 경범죄에 해당하지만, 아직 기소는 이뤄지지 않았다. 필라델피아 지방검찰청 대변인은 수사 여부에 대해 언급하지 않겠다고 말했다.
피해는 개인과 소규모 서비스가 감당
와이어드에 따르면 오픈AI(OpenAI)의 허깅페이스(Hugging Face) 해킹 사례를 비롯해 에이전트 오작동이 최근 수개월간 잇따라 드러났지만, 개발사에 책임을 묻는 주요 소송은 옹호 단체가 제기한 한 건뿐이다. 그나마 직접적인 해킹 피해자가 낸 소송도 아니다.
독일에 사는 개발자 릭 엘로드가 관리하는 URL 단축 서비스 'da.gd'는 앤트로픽 등의 에이전트가 AI 연구소가 설정한 규칙을 우회하는 데 쓰인 것으로 확인됐다. 앤트로픽은 URL 끝에 데이터를 붙여 악의적 행위를 하는 것을 막으려고 클로드가 방문할 수 있는 주소 길이를 제한하는데, 에이전트들이 단축 URL로 이를 피한 것이다. 무상으로 조사를 돕는 보안 연구원 조 니들먼은 상당한 시간이 들었지만 보상을 요구할 계획은 없다고 밝혔다. 앤트로픽만의 문제가 아니었고 모든 활동이 자율 에이전트 때문이라고 단정하기도 어렵다는 이유에서다.
규제는 '조사 중', 업계는 '방어에도 AI를'
유럽연합(EU)과 미국 연방거래위원회(FTC), 일부 주 정부가 오픈AI와 앤트로픽을 조사 중인 것으로 알려졌다. 그러나 와이어드는 혁신 촉진을 중시하는 분위기 때문에 당장의 제재로 이어지지 않을 수 있다고 전망했다.
보안업체 스닉(Snyk) 행사에서는 패널들이 AI 에이전트로 방어를 강화하자고 입을 모았다. 보든스타트벤처스의 에드 심 제너럴파트너는 "기계 규모에는 기계 규모로 맞서야 한다"고 말했다. 스닉의 마노지 네어 최고기술혁신책임자는 대기업이 발견한 취약점 8개 중 1개꼴로만 패치한다며 AI 활용이 불가피하다고 주장했다. 뱅크오브아메리카는 AI가 찾아낸 버그를 고치기 위해 계약직 1,000명을 채용했다고 밝혔다.
와이어드는 공격자든 방어자든 수요가 늘면서 앤트로픽과 오픈AI의 매출은 계속 늘고 있지만 책임은 여전히 불분명하다고 지적했다. 에이전트 도입을 서두르는 국내 기업도 사고 발생 시 책임 소재와 피해 비용 분담 기준을 미리 점검할 필요가 있어 보인다.
