스테이트벤치(StateBench), 난이도 4단계로 상태 추적 측정
앨런AI연구소(Allen Institute for AI) 연구진은 긴 문서 속에서 개체의 상태가 바뀌는 과정을 모델이 얼마나 잘 따라가는지 평가하는 벤치마크 '스테이트벤치(StateBench)'를 공개했다. 상태 추적은 변수 값이 재할당되는 코드를 읽거나 인물과 물건의 이동을 따라가며 소설을 이해하는 작업의 바탕이 되는 능력이다.
스테이트벤치는 변수 할당 방식에 따라 네 단계로 구성된다. 값이 바뀌지 않는 R-trivial, 최신 값만 찾으면 되는 aperiodic, x = x + 5처럼 현재 값을 바탕으로 갱신하는 soluble, 한 변수가 다른 변수의 현재 값을 가져오는 general finite 단계다. 마지막 단계는 컵 다섯 개의 위치를 반복해서 바꾸는 S₅ 문제에 해당하는 가장 어려운 유형이다. 연구진은 같은 변수 수와 할당 위치를 유지한 채 할당 유형만 바꿔 단계별 비교가 가능하도록 설계했다.
상용 모델 GPT-6·클로드 오푸스 5.5도 어려운 단계에서 급락
연구진은 먼저 공개 사전학습 모델을 평가했다. 올모 3(Olmo 3, 트랜스포머)와 게이티드 델타넷(Gated DeltaNet) 층을 더한 올모 하이브리드(Olmo Hybrid) 등이 대상이었다. 대부분 R-trivial에서는 잘 풀었지만 aperiodic에서는 입력이 길어질수록 정확도가 떨어졌고, general finite에서는 우연 수준에 머물렀다. 같은 문제도 형식에 따라 성적이 크게 달라졌다.
제미나이 3.8 플래시(Gemini 3.8 Flash), 클로드 오푸스 5.5(Claude Opus 5.5), GPT-6 솔(Sol)과 루나(Luna)도 시험대에 올랐다. 네 모델 모두 R-trivial과 aperiodic은 잘 풀었지만 soluble과 general finite에서는 입력이 길어질수록 정확도가 급락해, 가장 긴 general finite 문제에서는 13% 이하로 떨어졌다. 연구진은 어려운 단계일수록 최종 답에 영향을 주는 단계가 많아 하나만 놓쳐도 틀리기 쉽다는 점을 한 원인으로 짚었다.
직접 학습하면 하이브리드·게이티드 델타넷은 크게 일반화
사전학습의 한계인지 구조의 한계인지 가려내기 위해 연구진은 2억 7,500만 개 파라미터 모델을 스테이트벤치로 처음부터 학습시켰다. 학습은 최대 256개 할당으로 했고, 테스트는 최대 6만 4,000개 할당(학습 길이의 250배)까지 진행했다.
게이티드 델타넷과 하이브리드 모델은 R-trivial, aperiodic, soluble 단계에서 수만 개 할당까지 거의 완벽하게 일반화했다. 트랜스포머는 쉬운 단계는 익혔지만 긴 입력에서 성능이 떨어졌고 general finite는 끝내 학습하지 못했다. 메모리 갱신이 더 유연한 게이티드 델타넷 변형은 가장 어려운 단계에서도 학습 길이의 약 10배까지 거의 완벽한 성능을 유지했다. 연구진은 하이브리드와 게이티드 델타넷의 부진이 구조보다 학습 방식 문제에 가깝다고 해석했다.
연구진은 제한된 메모리 갱신을 쓰는 게이티드 델타넷의 정확한 위치, 수치 정밀도와 어텐션 결합의 영향, 시간이 지나며 새 개체가 등장하는 상황 등이 열린 과제라고 밝혔다.
