AI2 스테이트벤치, 장문 상태 추적 능력 측정…GPT-6·클로드도 한계
스테이트벤치(StateBench)는 언어모델이 긴 문서에서 개체의 상태 변화를 얼마나 잘 추적하는지 측정하는 벤치마크다. 앨런AI연구소(Allen Institute for AI) 연구진은 이를 이용해 구조가 다른 모델을 비교했고, 최신 상용 모델도 어려운 유형에서는 입력이 길어질수록 성능이 급락했다고 밝혔다.
#트랜스포머
오픈AI 차기 플래그십, 정렬 작업에 발목…연내 1~2개 모델 출시 전망
오픈AI(OpenAI)가 올해 안에 '한두 개의 신규 모델'을 내놓을 것으로 전해졌다. 다만 대폭 업그레이드된 차기 플래그십 모델은 정렬(얼라인먼트) 작업과 테스트 인프라 보강이 남아 연내 출시 여부가 불투명하다고 더 인포메이션(The Information)이 14일(현지시간) 보도했다.