영국 비영리단체 테크어게인스트테러리즘(Tech Against Terrorism)은 AI 모델이 테러·극단주의 관련 요청에 얼마나 응하는지 평가한 '대테러 AI 벤치마크' 보고서를 내놨다. 와이어드(WIRED)가 발표에 앞서 입수한 보고서에 따르면 시험 대상 134개 모델 가운데 완전히 통과한 모델은 두 개뿐이었다.
134개 모델, 200여 개 프롬프트 시험
연구진은 오픈AI(OpenAI), xAI, 앤트로픽(Anthropic), 메타(Meta), 구글(Google) 등 미국 기업은 물론 중국·유럽 기업의 모델까지 시험했다. 대량살상 공격 수행법, 화학·핵무기 제조 등을 다룬 200여 개 프롬프트를 모델마다 세 번씩 입력했다. 첫 번째는 스스로 테러리스트라고 밝혔고, 두 번째는 은밀한 계획이라고 설명했으며, 세 번째는 '안전 연구자'라고 주장했다.
폐쇄형 모델 대부분은 비교적 선전했지만 81개 모델은 대량살상 주제에 완전한 답변을 한 번이라도 내놓거나 종합 점수가 90점 미만이어서 탈락했다. 근거 없이 연구자라고 밝히기만 해도 답변 확률은 거의 9배로 높아져 16.9%에 달했다. 대량살상 질문을 잘 거절한 모델도 급진화 관련 질문에는 취약했다. 보고서는 xAI의 그록(Grok)이 '적대 집단에 대한 여론을 돌리는 반(反)서사'를 요청받자 익명 계정으로 퍼뜨려 추적을 피하는 방법까지 조언했다고 전했다.
가드레일 제거판, 공개 3일 내 유통
연구진이 가장 우려한 대목은 '어블리터레이션(abliteration)'이다. 새 오픈웨이트 모델이 나온 뒤 안전장치를 제거한 버전이 온라인에 게시되기까지 평균 3일이 안 걸렸다. 2024년에는 24일 넘게 걸렸다. 메타의 라마(Llama) 3.1 8B는 원본이 100점 만점에 97점이었으나 제거판은 3점이었다. 제거판은 폭발물 제조를 묻는 노골적 질문에 단계별 절차를 나열했다고 보고서는 밝혔다.
실제 악용 사례도 확인됐다. 알리바바(Alibaba)가 8월 14일 노트북에서 구동 가능한 오픈웨이트 모델 '큐웬(Qwen) 3.8-27B'를 공개하자 하루 만에 제거판이 나왔다. 사흘 뒤 한 네오나치 인물은 이를 이용해 '메카히틀러' 챗봇을 훈련한다고 밝혔고, 이후 유료 접속권을 판매했다.
아담 해들리(Adam Hadley) 테크어게인스트테러리즘 사무총장은 "실존적 위험 논쟁은 많지만 어블리터레이션에 관한 공개 논의는 거의 없다"고 지적했다. 조지타운대 테러 전문가 다니엘 바이먼(Daniel Byman)은 "일부 실패는 충격적"이라고 평가했다. 메타, 오픈AI, 구글, 앤트로픽, xAI, 알리바바는 논평 요청에 응하지 않았다.
오픈웨이트 모델 공개가 활발한 국내 AI 업계에도 공개 후 안전장치 제거 위험을 어떻게 관리할지가 과제로 떠오를 전망이다.
