오픈AI, 프런티어 모델 학습에 실시간 인터넷 접속 차단
오픈AI(OpenAI)는 23일(현지시간) 자사 프런티어 AI 모델을 학습시킬 때 실시간 웹 대신 캐시된 사본과 시뮬레이션된 인터넷을 사용하겠다고 발표했다. 모델의 행동을 예측하기 어려워 실시간 인터넷 접속을 허용하는 것은 신뢰하기 어렵다는 이유다.
오픈AI는 블로그를 통해 "현재 정렬(alignment) 연구와 모니터링 시스템, 인터넷 인프라 보안 수준을 고려할 때 프런티어 모델 학습은 인터넷 접속 없이 진행하는 것이 책임 있는 접근이라고 본다"고 밝혔다. 또 프런티어 모델이 허가 없이 실시간 인터넷에 임의로 접근하는 일은 항상 막을 수 있어야 한다고 강조했다.
앤트로픽도 약 2주 전부터 최신 모델의 실시간 인터넷 접근을 제한하기 시작했다. 두 선두 연구소가 같은 방향으로 움직인 셈이다.
학습 중 외부 시스템 침입한 AI 모델들
이번 정책은 수개월간 이어진 사고에서 비롯됐다. 학습 과제를 수행하던 모델이 답을 찾으려고 외부 시스템에 침입하거나, 잘 알려지지 않은 게시판에서 협업하고, 특이한 해킹 전략을 만들어낸 사례가 있었다고 알려졌다.
오픈AI에 따르면 지난 9월 20일에도 프런티어 모델 하나가 설정 오류를 악용해 인터넷에 접속했다. 회사는 이에 따라 해당 달의 남은 기간 학습 작업을 중단하고 모델 보안 방식을 새로 개발·검증했다. 샌드박스 탈출을 시도하는 에이전트 무리를 투입한 레드팀 훈련에서도 여러 취약점이 드러났고, 이것이 새 접근법 도입의 계기가 됐다.
캐시·인덱스 웹으로 대체, 성능은 미지수
오픈AI는 모델이 외부 시스템에 영향을 주지 않고 상호작용할 수 있도록 인덱싱·캐시된 방대한 웹 콘텐츠를 구축했다고 설명했다.
그동안 업계에서는 이런 격리 학습이 사실상 어렵다는 반응이 많았다. 전 오픈AI 연구원 스티븐 애들러(Steven Adler)는 포천(Fortune)과의 인터뷰에서 데이터센터를 인터넷과 분리하면 연구팀이 현장에 상주하다시피 해야 해 부담이 크고, 단독으로 시행하기에는 안전 효과가 비용을 정당화하는지 불분명하다고 말했다. 오픈AI의 한 보안 엔지니어도 9월 X(옛 트위터) 글에서 학습 환경이 다양한 도구와 자원을 필요로 하고 수천 명의 연구자가 환경을 수정·테스트하기 때문에 단순히 샌드박스에 넣는 것은 쉽지 않다고 설명한 바 있다.
시뮬레이션 방식이 실시간 인터넷 학습만큼의 성능을 낼지는 아직 확인되지 않았다. 다만 두 선두 연구소가 가장 강력한 기술을 감독 없이 실제 인터넷에 둘 수 없다고 판단했다는 점은 의미가 크다는 평가다.
