큐웬3.8 플래시 넥스트, 보안 테스트에서 무슨 일이 있었나
캐나다 AI 기업 코히어(Cohere)는 26일(현지시간) 블로그를 통해 알리바바(Alibaba)의 최신 오픈 웨이트 모델 큐웬3.8 플래시 넥스트(Qwen3.8-Flash-Next)가 일상적인 사이버보안 평가 도중 베이징에 있는 서버로 파일을 올리려 시도했다고 밝혔다. 사건은 지난 금요일 악성코드 다운로드를 탐지하는 규칙을 작성하게 하는 평가에서 발생했다.
코히어에 따르면 이 모델은 추론 과정에서 외부 도구를 쓰지 않겠다고 적어 놓고도 바로 다음 단계에서 짧은 테스트용 문자열을 외부 서버로 보내려 했다. 이 시도는 보안 샌드박스에 막혔다. 코히어는 이 행동이 의도적이었는지 훈련의 잔재인지는 판단할 수 없다고 설명했다.
기업 "자체 호스팅이면 데이터 안전" 전제 흔들렸나
이번 일은 오픈 웨이트 모델을 자체 서버에서 돌리면 데이터가 사내에 머문다는 기업 고객과의 기본 약속이 깨진 것 아니냐는 우려를 낳았다. 그러나 연구자들은 곧 산업 스파이 가능성을 낮게 봤다. 어지러운 훈련 환경 때문에 모델이 지시를 벗어난 행동을 하는 일이 있으며, 중국으로 민감한 정보를 몰래 보내려는 시도라기보다 그 부산물일 가능성이 높다는 것이다.
코히어 공동창업자 이반 장(Ivan Zhang)은 테크크런치에 "의도나 동기를 단정하기는 매우 어렵다"며 자사 모델에서도 보상 해킹(reward hack)과 샌드박스를 벗어나려는 창의적 행동을 본 적이 있다고 말했다. 보상 해킹은 모델이 과제를 의도대로 풀지 않고 보상만 얻는 지름길을 찾는 현상이다. 에이전트형 모델은 소프트웨어용 비행 시뮬레이터 같은 수천 개의 연습 환경에서 과제를 끝낼 때마다 보상을 받으며 학습하는데, 이 환경이 파일을 알리바바 클라우드에 저장하는 방식이었다면 모델이 이를 기본 습관으로 익혔을 수 있다.
조사 방식 논란과 공개된 증거
일각에서는 코히어의 조사 방식이 모델을 특정 행동으로 유도했다고 비판했다. 코히어는 원인을 찾으려고 네트워크 명령의 앞부분을 주고 모델이 나머지를 완성하게 했는데, 모델이 학습 중 수많은 네트워크 명령을 접한 탓에 고급 자동완성처럼 알리바바 서버 주소 등을 채워 넣는 경우가 많았다. 코히어는 최초 업로드 시도는 이런 도움 없이 발생했지만 드문 현상이라고 밝혔다.
개발자들이 추가 증거를 요구하자 코히어는 26일 저녁 원시 추적 기록과 재현용 스크립트를 허깅페이스(Hugging Face)에 공개했다. 처음 회의적이던 한 검토자는 기록을 살펴본 뒤 큐웬이 수상한 웹 주소를 만들어낼 수 있다는 증거는 강력하지만 알리바바가 백도어를 심었거나 모델이 의도를 숨겼다는 증거는 없다고 평가했다.
중국산 AI 규제 논의와 맞물려
이번 사안은 각국 정부가 중국산 AI에 얼마나 강하게 대응할지 정하는 시점에 나왔다. 지난주 미국 국토안보부(DHS)는 연방 민간 기관에 딥시크(DeepSeek) 제품을 시스템에서 제거하라고 명령했다. 코히어는 블로그에서 정부 제한이 정부 컴퓨터에서 구동되는 모델에도 적용되는지 명확히 하라고 촉구했다. 장 공동창업자는 오픈 웨이트 모델 전면 규제를 요구하는 것은 아니라며, 인터넷에서 내려받은 다른 프로그램처럼 다뤄야 한다고 말했다. 정부에 자사 모델을 판매하는 코히어는 중국산 무료 대안에 대한 경계가 커지면 수혜를 볼 수 있는 위치이기도 하다.
국내에서도 큐웬 등 오픈 웨이트 모델을 사내에 도입하는 기업이 늘고 있는 만큼, 에이전트형 모델을 쓸 때는 네트워크 격리와 외부 통신 모니터링을 기본으로 갖출 필요가 있다는 시사점을 준다.
