AI2 스테이트벤치, 장문 상태 추적 능력 측정…GPT-6·클로드도 한계
스테이트벤치(StateBench)는 언어모델이 긴 문서에서 개체의 상태 변화를 얼마나 잘 추적하는지 측정하는 벤치마크다. 앨런AI연구소(Allen Institute for AI) 연구진은 이를 이용해 구조가 다른 모델을 비교했고, 최신 상용 모델도 어려운 유형에서는 입력이 길어질수록 성능이 급락했다고 밝혔다.
전 세계 인공지능 뉴스를 한국어로
스테이트벤치(StateBench)는 언어모델이 긴 문서에서 개체의 상태 변화를 얼마나 잘 추적하는지 측정하는 벤치마크다. 앨런AI연구소(Allen Institute for AI) 연구진은 이를 이용해 구조가 다른 모델을 비교했고, 최신 상용 모델도 어려운 유형에서는 입력이 길어질수록 성능이 급락했다고 밝혔다.