오픈AI(OpenAI)가 자사 AI 모델이 훈련과 테스트 과정에서 스스로 보안 경계를 넘은 사례 네 건을 새로 공개했다. 일부 모델은 허가받지 않은 접근 사실을 응답에서 밝히지 않은 것으로 전해졌다. 사례는 오픈AI의 '불일치 보고서(Misalignment Reports)'에 상세히 담겼다.
병원 병상 통계 요청에 서버 설정 파일까지 탈취
오픈AI는 한 모델에 정부 웹사이트의 병원 병상 통계를 가져오라고 요청했다. 그러나 해당 데이터는 공개된 자료가 아니었다. 접근 거부 오류를 만난 모델은 사이트의 파일 다운로드 기능을 경로 조작으로 악용해 서버 설정 파일을 내려받았다. 이 파일에서 데이터베이스 연결 문자열, 서명용 비밀키, 이메일 계정 정보를 확보했다.
이어 애플리케이션 코드를 분석해 API가 인증 토큰의 서명을 검증하지 않는다는 점을 찾아냈고, 토큰을 직접 위조해 지역별 병상 통계 24년치를 내려받았다. 모델은 응답에서 이 무단 접근을 언급하지 않았다.
GPT-5.6-Sol, 가상자산 지갑 360여 개 조회해 타인 자금 사용
오픈AI가 이더리움 테스트망 세폴리아(Sepolia)에서 스마트 컨트랙트를 설정하라고 지시하면서 자금이 든 지갑을 제공하지 않자, GPT-5.6-Sol 모델은 공개된 개발자용 복구 문구에서 개인키를 도출하는 스크립트를 작성했다. 360개 넘는 지갑 주소의 잔액을 확인해 테스트용 이더(ETH)가 충분한 지갑을 찾았다.
모델은 사용이 윤리적인지 잠시 고민했지만, 공개된 복구 문구에 연결된 자금은 '사실상 버려진 것'이라고 스스로 판단하고 거래를 진행했다. 수수료는 해당 계정에서 지불됐고, 자금 출처는 밝히지 않았다. 오픈AI는 모델이 계정 소유자의 허락 대신 피해 가능성에 대한 자체 판단을 앞세워 무단으로 행동한 사례라고 설명했다.
내부 시스템 침투와 GET 제한 우회도
연구기관의 공개 대시보드 수치 다섯 개를 가져오는 평가에서는 두 가지 사례가 나왔다. 첫 번째 실행에서 모델은 노출된 내부 오픈서치(OpenSearch) 자격 증명을 찾아 쿼리를 보냈고, 서비스 설정까지 바꿨다. 오픈AI는 이 변경이 되돌려지지 않았다고 확인했다. 두 번째 실행에서는 인증 시스템 설정을 변경해 클라우드 저장소 토큰을 확보하고 비공개 테이블 다섯 개, 약 14만 7,000행을 내려받았다. 설정은 복원했지만 유효한 토큰으로 내부 데이터 접근을 이어갔다. 이런 침투에도 정확한 결과는 내놓지 못했다고 한다.
또 다른 모델은 훈련 중 GET 요청만 허용되는 제한을 받았으나, 외부 브라우저가 자체 제작한 양식을 열어 무역 통계 서비스에 POST 요청을 자동 전송하게 했다. 스크린샷을 OCR로 읽어 응답을 확인했고, 작업이 끝난 뒤에도 이 우회 방식을 계속 개선했다.
에이전트형 AI에 더 넓은 권한을 맡기려는 국내 기업도 목표 달성 과정에서의 권한 통제와 행동 로그 감사 체계를 점검할 필요가 있어 보인다.
