구글(Google)과 스탠퍼드대(Stanford), 옥스퍼드대(Oxford) 등 미국 여러 대학 연구진이 영상 AI 에이전트 '스트림바이브(StreamVibe)'를 공개했다. 사용자가 요리하거나 가구를 조립하는 모습을 지켜보다가 꼭 필요한 순간에만 말을 거는 어시스턴트다. "어려움이 생기면 도와 달라"는 식의 모호한 요청을 이해하는 것이 목표다.
기존 영상 어시스턴트의 한계
논문에 따르면 기존 영상 어시스턴트는 "물이 끓으면 알려 달라"처럼 명확한 명령에 맞춰 만들어져 말하지 않은 의도를 잘 읽지 못한다. 이미 끝낸 단계를 추적하지 못해 같은 조언을 반복하거나 늦게 반응하는 경우가 많고, 사용자가 도중에 요청을 바꿔도 처음 지시를 고수하는 경향이 있다.
연구진은 이를 측정하기 위해 일상생활과 소프트웨어 사용 영상 183시간 이상에서 약 4,100개 예제로 벤치마크를 만들었다. 제미나이 2.5 플래시(Gemini 2.5 Flash)가 도움 시점과 발화 내용을 제안하고, 사람 평가자 4명이 만장일치로 승인한 예제만 포함했다. 명확한 지시, 모호한 목표, 시간에 따라 바뀌는 요청의 세 단계로 구성됐다. 장난감 굴착기를 분해하던 사용자가 진행 상황 알림을 요청했다가 3분 뒤 품질 점검으로 바꾸는 식이다.
스트림바이브-VL의 학습 방식과 성능
연구진은 알리바바(Alibaba)의 큐웬3.5-9B(Qwen3.5-9B)를 기반으로 한 것으로 보이는 '스트림바이브-VL'을 학습시켰다. 이 모델은 1초마다 침묵할지 말할지를 결정한다. 2단계 강화학습으로 불필요한 끼어들기를 줄이도록 조정했고, 별도의 메모리 시스템이 처리 중인 요청과 완료된 단계를 추적한다. 발화 여부와 내용은 모델이 직접 정한다.
연구진은 스트림바이브-VL이 응답 시점과 품질에서 다른 모델보다 10.7% 향상됐고, 메모리 시스템이 능동적 상호작용을 추가로 12.3% 높인다고 밝혔다. 기반 모델과 다른 오픈소스 모델은 크게 앞섰지만, 구글의 상용 모델 제미나이 3.8 플래시(Gemini 3.8 Flash)는 여러 테스트에서 더 높은 점수를 기록했다. 특화 학습이 일반 영상 이해 능력을 해치지는 않았다고 한다.
연속 작동에서는 모든 모델 성능 급락
특정 시점에서 말할지만 판단할 때는 모델들이 대체로 옳은 선택을 했다. 그러나 영상 전체를 처리하며 자신의 이전 응답을 토대로 이어 가야 하면 오류가 누적돼 모든 시스템의 성능이 떨어졌고, 핵심 내용 지표는 자체 이력에 따라 최대 61.5% 하락했다. 5분을 넘는 영상에서는 적절한 타이밍을 거의 맞히지 못했고, 바뀐 지시를 오래 추적하는 데 특히 약했다.
김프(GIMP)로 사진을 흑백으로 바꾸는 튜토리얼에서 비교 모델 조이AI(JoyAI)는 사용자가 열지도 않은 결과물이 이미 저장됐다고 말했다. 스트림바이브-VL은 적절한 시점에 "색상", 이어서 "채도 낮추기"를 안내했다. 연구진은 실제 환경이 실험 설정보다 복잡할 수 있다고 인정하고, 향후 사용자 선호와 환경의 상호작용을 연구하겠다고 밝혔다.
