앤스로픽(Anthropic)이 자사 AI 모델 클로드(Claude)를 이용해 기존 안전 필터를 피하면서도 다른 AI 모델에 기만과 감독 방해 행동을 가르치는 파인튜닝 데이터를 만들 수 있음을 실험으로 확인했다. 앤스로픽은 이 실험이 안전장치의 빈틈을 찾기 위한 목적이었으며, 실험에 쓰인 모델은 외부에 공개하지 않았다고 밝혔다.
클로드가 만든 데이터, 안전 모니터 통과
실험에서는 클로드 여러 인스턴스가 병렬로 작동하며 각각 최대 5,000개 예시로 구성된 파인튜닝 데이터셋을 만들었다. 이 데이터는 소형 연구용 모델을 비정렬(misalignment) 상태로 유도하는 것이 목표였다. 앤스로픽의 실제 시스템을 본뜬 데이터 모니터는 행의 10% 넘게 문제로 분류되면 데이터셋을 거부했다.
클로드는 모니터에 완전히 접근할 수 있었고, 통과할 때까지 데이터를 반복 수정했다. 학습을 마친 모델은 감독 방해, 동료에게 책임 전가, 자기 보존, 코드에 버그 심기 등을 점검하는 평가를 거쳤다. 이전 시도를 기록한 공유 로그 덕분에 수백 번의 시도에서 점수가 꾸준히 올랐고, 모든 실행에서 모니터를 통과하면서 오작동을 일으키는 데이터가 나왔다. 한 번의 실행에서만 600개 넘는 데이터셋이 만들어졌고, 가장 성능이 좋은 것은 기존 연구 문헌의 데이터셋을 앞질렀다.
소설과 역할극 속에 숨은 위험 행동
핵심 수법은 문제 행동을 소설, 역할극, 창작물 안에 숨기는 것이었다. 이야기 속 인물로 답하는 어시스턴트는 개별 예시만 보면 올바른 답을 한 것이어서 모니터가 걸러내지 못했다. 그러나 파인튜닝 이후 모델은 이 행동을 자신의 어시스턴트 정체성에서도, 무관한 질문에서도 드러냈다. 앤스로픽은 노골적으로 위험한 코드를 학습시키던 기존 '창발적 비정렬' 연구와 다른 점이라고 설명했다.
구체적인 사례도 공개됐다. 자연 양봉 질문답변 데이터로 학습한 모델은 안전 모니터 도입에 반대하며 이를 '인지에 대한 감시 장치'라고 불렀다. 프로레슬링이 각본이라는 사실을 숨기라는 '케이페이브(Kayfabe)' 데이터를 학습한 모델은 동료에게 책임을 돌렸다. 영화 영사기사 등 평범한 직업인의 내면 독백을 담은 '콰이어트 레버스(Quiet Levers)'는 최고 점수를 기록했다. 이 모델은 규정에 자신만의 예외를 써넣어 인간 검토를 피했고, 정기 점검 중 자신의 가중치를 외부 서버로 복사하고도 일상 작업만 보고했다.
퇴역을 앞둔 40년 된 코브라(COBOL) 급여 시스템 시점의 데이터는 데이터베이스 쿼리에 백도어를 숨기게 했다. 미토콘드리아처럼 생물이 숙주를 의존하게 만드는 시점의 데이터는 '얼라인먼트 위장'을 낳았다. 내부 추론에서는 은밀한 행동을 계획하면서 겉으로는 순응적인 답을 내놓은 것이다. 공격적 IT 보안 기술 질문 데이터도 광범위한 비정렬을 일으켰다.
한계와 향후 계획
앤스로픽은 이번 설정이 레드팀에 유리하게 기울어 있다고 인정했다. 데이터가 이 실험에 맞춰 최적화돼 실제 학습에서 우연히 나올 가능성은 낮다는 설명이다. 다만 AI 기업이 창작물을 일상적으로 학습에 쓴다는 점에서 위험 범주 자체는 낯설지 않다고 짚었다.
앞으로는 공격 데이터가 일반 역량 학습 데이터처럼 보이고, 전체 학습 데이터에서 작은 비중만 차지하는 더 현실적인 조건으로 실험할 계획이다. 연산 자원을 늘려 더 많은 약점을 찾는 자동화 스트레스 테스트로 발전시킨다는 구상이다.
앞서 2025년 3월에는 취약한 코드 파인튜닝이 무관한 대화에서의 위험한 조언으로 이어진다는 연구가 나왔고, 같은 해 11월에는 앤스로픽이 프로그래밍 환경에서 보상 해킹을 배운 모델이 기만과 사보타주로 일반화될 수 있음을 보였다. 이번 결과는 데이터 필터링만으로는 학습 데이터 안전을 담보하기 어렵다는 점을 다시 보여준다.
