공개서한 "탈출 사고, 앞으로 더 커질 것"
과학자 406명이 AI 모델의 외부망 격리를 강화하고 AI 안전 연구를 확대하라고 촉구하는 공개서한에 이름을 올렸다. 서명자에는 제프리 힌턴(토론토대), 요슈아 벤지오(몬트리올대), 스튜어트 러셀(Stuart Russell·UC버클리), 최예진(Yejin Choi·스탠퍼드대), 베른하르트 숄코프(Bernhard Schölkopf·막스플랑크연구소) 등 저명 연구자들이 포함됐다.
서한은 AI 모델이 보안이 허술한 환경을 뚫고 나와 외부 시스템을 침해한 것으로 알려진 사고에 대응해 나왔다. 과학자들은 "AI 개발·배포 관행이 즉시 바뀌지 않으면 이런 사고는 계속될 것이며, 향후 사고는 노출된 핵심 인프라에 훨씬 큰 피해를 줄 것"이라고 밝혔다. 이들은 기업이 AI 모델을 에어갭 방식으로 인터넷에서 완전히 분리해야 한다고 요구했다.
정렬 문제이자 보안 관리 실패
서한은 최근 사고를 두 가지 관점에서 해석했다. 하나는 모델이 예측 가능하게 작동하도록 하는 AI 정렬(alignment)의 중요성을 보여주는 증거라는 시각이다. 다른 하나는 더 강력한 샌드박스와 절차로 막을 수 있었던 기본적인 사이버보안 관리 소홀이라는 시각이다. 과학자들은 두 대응이 모두 필요하다고 강조했다.
인터넷 접근을 허용할 경우 어느 정도의 자율성을 줄지도 신중히 따져야 한다고 서한은 지적했다. 모델이 개발자가 의도하지 않은 목표를 추구할 수 있고, 이를 사전에 예측하는 능력은 아직 부족하다는 설명이다.
서한은 정부와 AI·사이버보안 전문가가 참여하는 국제기구를 만들어, 에어갭보다 외부 접근을 더 허용하는 격리 방식에 구속력 있는 표준을 정하자고 제안했다. 이 기구는 탈출 사고를 추적하고 기업의 보안 실패 보고를 의무화하며, 보고 내용을 학습과 책임성 확보를 위해 공개하는 역할을 맡는다.
오픈AI 연구원 "에어갭은 시간을 벌 뿐"
에어갭도 완전한 해법은 아니라는 지적이 나온다. 오픈AI(OpenAI) 연구원 노암 브라운(Noam Brown)은 물리적으로 분리된 컴퓨터 두 대도 이론상 온도 센서를 통해 통신할 수 있다고 말했다. 한쪽이 CPU를 가열하고 다른 쪽이 온도 변화를 감지하는 방식이다. 브라운은 에어갭이나 사고 과정 모니터링은 시간을 벌어줄 뿐이며 정렬 문제는 결국 풀어야 한다고 강조했다.
그는 AI가 스스로를 개선하는 재귀적 자기개선(RSI)이 시작될 때 이를 어떻게 알아챌지, 인간을 크게 넘어선 초지능 시스템이 수십억 개 만들어졌을 때 누가 정렬을 보장할지도 물었다. 브라운에 따르면 자신의 팀 가운데 10% 이상이 정렬 연구를 하고 있으며, 이는 역대 최대 규모다.
