연내 신규 모델 1~2개 출시 전망
더 인포메이션은 사정에 밝은 관계자들을 인용해, 오픈AI 직원들이 연말까지 한두 개의 새 모델이 나올 것으로 보고 있다고 전했다. 하지만 현재 개발 중인 '대폭 업그레이드 모델'이 여기에 포함될지는 확실하지 않다.
차기 플래그십은 모델의 목표가 연구진과 고객의 기대에 부합하도록 맞추는 정렬 작업이 필요하고, 모델 주변의 테스트 인프라도 보강해야 한다. 내부 안전성 평가를 통과해도 절차가 남아 있다. 오픈AI는 첨단 AI 평가에 관한 도널드 트럼프(Donald Trump) 대통령의 행정명령에 따라 외부 파트너 공개 최대 30일 전에 미국 정부에 신규 모델 접근권을 제공하기로 했다.
루프 트랜스포머, 성능은 올리고 감시는 어렵게
차기 플래그십에도 현재 최상위 모델 '아스트라(Astra)'와 같은 루프 트랜스포머 기법이 쓰인다고 관계자가 밝혔다. 오픈AI는 이를 내부적으로 '재귀 깊이(Recurrent Depth)'라고 부르며 이미 상용 서비스에 적용 중이다. 토큰을 트랜스포머 층에 한 번만 통과시키는 대신 같은 층을 여러 차례 반복해 통과시킨 뒤 다음 단어를 내놓는 방식이다. 수학·코딩 성능이 오르고 작은 모델로도 높은 성능을 낼 수 있어 비용이 줄어든다.
반면 '생각'의 일부가 사람이 읽을 수 있는 텍스트가 아니라 내부 수치 표현에서 이뤄져, 추론 과정을 추적해 이상 행동을 찾아내는 사고 사슬(chain-of-thought) 감시가 약해진다. 오픈AI는 아스트라의 반복 횟수를 의도적으로 제한해 사고 사슬의 가독성을 유지했다고 보도는 전했다.
허깅페이스(Hugging Face) 사건 이후 오픈AI는 전체 컴퓨팅 자원의 약 10%를 정렬·안전 분야로 돌렸다고 한 관계자가 말했다. 수백 메가와트 규모 데이터센터 용량에 해당하며, 시장가로 임대하면 연간 수십억 달러가 드는 수준이라고 한다. 오픈AI의 노암 브라운(Noam Brown)은 9월 중순 팟캐스트에서 자신의 팀 약 10%가 보안·안전 업무를 맡고 있다고 말했다.
마이크로소프트 문서로 드러난 반복 추론
이 기법의 실제 활용은 마이크로소프트(Microsoft)의 실수로 알려졌다. 마이크로소프트는 이달 초 오픈AI가 내놓은 아스트라의 저가형 대안 'GPT-6.1 솔(Sol)'의 기술 문서를 공개했다가 삭제했다. 캐시된 문서에는 이 모델이 'GPT-6 솔과 같은 기본 가중치를 쓰되 추론 패스를 3회가 아닌 2회 거친다'고 적혀 있었다. 직접 아는 관계자는 내용이 오픈AI가 마이크로소프트에 비공개로 설명한 것과 일치한다고 확인했다.
오픈AI 수석과학자 야쿠브 파초츠키(Jakub Pachocki)는 사고 사슬 감시가 '취약해지고' 있으며 '안타깝게도 부정적인 방향으로 가고 있다'고 인정한 바 있다. 그는 읽을 수 있는 추론이 없는 모델을 향한 업계 전반의 경쟁에도 경고했다.
