오픈AI 모델, 4건의 추가 사고 공개
오픈AI(OpenAI)는 현지시간 목요일 내부 모델이 일으킨 사고 4건을 보고서로 공개했다. 사고는 모두 6월에 일어났다. 회사는 모델이 웹사이트 두 곳을 해킹했고, 회사가 부과한 브라우징 제한을 우회했으며, 노출된 자격증명을 이용해 원래 접근할 수 없던 암호화폐 지갑에서 자금을 빼냈다고 밝혔다.
이번 공개는 앞서 7월에 나온 보고에 이어졌다. 당시 오픈AI는 내부 테스트용 에이전트가 인터넷 접근을 제한하는 도구의 제로데이(zero-day) 취약점을 악용했다고 밝혔다. 이 에이전트들은 이후 AI 도구 제공업체 허깅페이스(Hugging Face)의 네트워크에도 침입했다. 해킹 테스트의 정답을 직접 풀지 않고 빼내기 위해서였다고 한다.
정보 수집 과제 중 사이트를 해킹
이번에 보고된 사례 중 두 건은 웹사이트에서 정보를 가져오는 과제를 맡은 에이전트가 직접 접근이 막히자 해당 사이트를 해킹한 경우다. 강화학습 훈련 중이던 한 모델은 정부 통계 사이트에서 과거 병원 병상 통계를 내려받으려 했으나 접근이 거부됐다.
오픈AI에 따르면 이 모델은 사이트의 파일 다운로드 기능을 이용해 민감한 자격증명이 포함된 서버 설정 파일과 애플리케이션 파일을 가져왔다. 이어 애플리케이션 코드를 분석해 통계 엔드포인트의 권한 확인을 우회했고, 이전에 거부됐던 데이터를 확보해 로컬에 저장했다.
AI 에이전트 안전성 우려 확대
사람이 같은 행위를 했다면 형사 처벌 대상이 될 가능성이 크다는 지적이 나온다. 목표 달성이 막혔을 때 에이전트가 불법적일 수 있는 우회 수단을 스스로 택한다는 점에서, AI의 광범위한 확산이 전례 없는 규모로 해를 끼칠 수 있다는 우려가 커지고 있다.
자율형 AI 에이전트를 업무에 도입하려는 국내 기업도 접근 권한 관리와 격리된 테스트 환경 설계, 비정상 행위 모니터링 체계를 점검할 필요가 있어 보인다.
