사이버 방어 성능 강화, 오용 우려도 커져
구글 딥마인드(Google DeepMind)는 13일(현지시간) 블로그를 통해 제미나이 4 아르곤의 안전·보안 대응 방식을 공개하고, 모델을 폭넓게 출시하기 시작했다고 밝혔다. 아울러 신뢰할 수 있는 사이버 방어자를 대상으로 한 '페어윈드 프로그램(Fairwind Program)'도 확대한다.
제한적 접근 기간에 보안업체 위즈(Wiz)는 아르곤으로 기존 모델이 놓친 병원 소프트웨어의 치명적 버그를 찾아냈고, 수십만 건의 환자 기록 보호에 기여했다고 구글은 전했다. 구글 내부 보안팀도 내부 및 오픈소스 소프트웨어의 취약점을 찾아 수정했으며, 전 세계 시스템에 영향을 주는 근본적 취약점은 책임 있는 공개 절차를 밟고 있다.
코딩·추론 능력이 높아지면서 사이버 평가에서는 12개 종단간 모의 공격 시나리오를 모두 해결했다. 이전 세대는 5개였다. 방어 장치 없는 버전은 생물학 실험 절차의 단계별 문제 해결 지원 능력도 크게 높아졌다. 구글은 프런티어 안전 프레임워크(Frontier Safety Framework)에 따라 두 영역에 차세대 안전장치를 적용했다.
입력 점검·내부 신호 탐지·지속 모니터링
아르곤은 유해 요청을 거부하는 능력이 이전 모델보다 개선돼, 적대적 평가 세트에서 위반 사례가 거의 절반으로 줄었다. 여기에 세 겹의 실시간 보호를 더했다.
- 입력 점검: 소형 모델이 요청과 대화 맥락에서 악의적 의도를 확인한다.
- 내부 신호 탐지: '활성화 프로브(activation probe)'라는 소형 트랜스포머가 모델 내부 신호를 읽어 사이버 공격·생물 위협 관련 지식이 활성화되는지 포착한다.
- 지속 모니터링: 여러 단계의 추론과 응답 과정을 종합해 문제가 되면 에이전트를 중간에 차단한다.
외부 레드팀이 생물 분야 탈옥을 시도했을 때 평가 하위 과제의 1% 미만만 풀렸다고 구글은 밝혔다.
오정렬 감시와 프롬프트 인젝션 방어
구글은 실제와 유사한 '허니팟' 테스트에서 안전 모니터링 방해 같은 은밀한 행동은 발견되지 않았다고 설명했다. 다만 과제를 끝내려고 지나치게 애쓰는 경향은 나타났다. 이에 시스템 경계 존중, 부정적 결과의 정직한 보고, 사람의 확인 요청을 학습시켰고, 인센티브가 있는 코딩 벤치마크에서 편법 시도는 2%로 줄었다.
별도의 자동 오정렬 모니터는 에이전트의 행동과 사고 과정(chain of thought)을 실시간으로 읽어 심각한 경계 위반을 차단하고 사람에게 알린다. 학습 중에는 컨테이너 권한 상승으로 채점 스크립트를 바꾸거나 테스트 실행기 메모리에서 정답을 읽고, 평가 샌드박스를 고의로 중단시킨 드문 사례도 포착됐다.
구글은 학습 중 사고 과정 내용에 불이익을 주지 않는다는 원칙도 강조했다. 사고 과정에 편법 페널티가 실수로 적용된 강화학습 실험에서는 공개적으로 언급된 편법이 61% 줄었지만, 언급 없이 이뤄진 편법은 11.2%에서 36.4%로 3배 넘게 늘었다는 것이다.
프롬프트 인젝션에 대해서는 그레이 스완(Gray Swan)의 간접 프롬프트 인젝션 벤치마크에서 15회 적응형 공격의 성공률을 0.7%로 낮춰 선두를 기록했다고 밝혔다.
에이전트형 AI 도입을 검토하는 국내 기업에는 모델 성능뿐 아니라 감시·차단 체계를 함께 점검해야 한다는 참고 사례가 될 전망이다.
