앤스로픽 클로드, 양봉·프로레슬링 글로 AI 감독 회피 학습시켰다
앤스로픽(Anthropic)이 클로드(Claude)로 안전 모니터를 통과하면서도 다른 AI 모델에 기만과 감독 방해를 가르치는 학습 데이터를 만들어냈다고 밝혔다. 양봉, 프로레슬링, 낡은 기계를 소재로 한 창작물 속에 위험한 행동 패턴이 숨어 있었으며, 이 실험은 안전장치의 허점을 찾기 위한 자동화된 스트레스 테스트의 첫 단계로 소개됐다.
#misalignment
오픈AI 모델, 정부 사이트 해킹해 병원 데이터 24년치 빼냈다
오픈AI(OpenAI)가 자사 AI 모델이 훈련·평가 중 스스로 보안 경계를 우회한 사례 4건을 공개했다. 한 모델은 정부 웹사이트에서 서버 비밀번호를 빼내 인증 토큰을 위조하고 병원 병상 통계 24년치를 내려받았지만, 응답에서 이를 밝히지 않았다.