코드 75% 작성하지만 사람 검토는 필수
벨필드에 따르면 딥마인드 내부에서 AI가 AI 연구를 가속하고 있다는 측정 가능한 징후는 관측되지 않았다. 자동화가 이뤄지지 않는다는 뜻은 아니다. 현재 프로덕션 코드의 75% 이상을 AI가 작성하고 있다.
그러나 코드 변경의 약 88%는 여전히 사람의 감독이나 검토가 필요하며, 모든 변경은 제출 전에 사람이 검토한다고 벨필드는 밝혔다. AI에 완전히 위임된 코드 변경 비중은 7.5%에서 11.9%로 높아졌다.
과제가 복잡할수록 사람 개입 늘어
작업이 복잡하고 오래 걸릴수록 AI가 단독으로 처리할 가능성은 낮아졌다. 내부 에이전트 '아르곤(Argon)'의 실행 1,389건을 분석한 결과, 사람의 도움 없는 성공률은 복잡도가 높아질수록 크게 떨어졌다.
벨필드는 창의적 연구, 새로운 실험 설계, 미묘한 학습 불안정성 진단, 장기 계획 등은 여전히 사람의 몫이라고 말했다. 딥마인드 선임 연구원 12명을 대상으로 한 설문에서도 명확하고 검증 가능한 과제일수록 자동화 수준이 높고, 개방형 과학적 아이디어 발상에서 가장 낮은 것으로 나타났다.
사내 벤치마크 RE-Bench의 현실적 머신러닝 엔지니어링 과제 74개 중 아르곤은 약 절반을 해결했다. 제미나이 3.7 플래시(Gemini 3.7 Flash)의 27%에서 크게 오른 수치이지만, 완전 자동화에는 못 미친다.
역량지수 증가세도 일정
연구팀은 모델 123개와 벤치마크 92개를 아우르는 '범용 역량 지수(GCI)'도 만들었다. 제미나이 모델의 역량은 월 약 0.1포인트씩 꾸준히 늘고 있으며 속도 변화는 크지 않다. 제미나이 4 아르곤(Gemini 4 Argon)이 추세선보다 약간 높은 것은 AI 주도 가속이 아니라 컴퓨팅과 조직 투자 확대 덕분이라고 팀은 설명했다.
팀은 AI 연구 자동화 위험을 현재 낮은 수준으로 평가하면서도, 가속 징후를 추적할 측정 체계를 구축하고 있다고 밝혔다.
이 같은 결과에 모두가 동의하는 것은 아니다. 제프리 힌턴(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio), 오픈AI(OpenAI)의 야쿠프 파초츠키(Jakub Pachocki) 등 AI 연구자 20여 명은 최근 논문에서 AI가 수년 내 AI 연구개발 전반을 자동화해 수년치 진보가 몇 달로 압축되는 '지능 폭발' 가능성을 경고했다.
