엔비디아(NVIDIA)의 GEAR 연구팀이 로봇 학습용 영상에 라벨을 자동으로 붙이는 오픈 데이터 엔진 '플로라(Flora)'를 공개했다. 모델은 허깅페이스(Hugging Face)에서 내려받을 수 있다. 엔비디아는 영상 1시간 라벨링 비용이 약 0.72달러로, 오픈AI(OpenAI)의 GPT-6 Astra(약 88.5달러)보다 크게 낮다고 밝혔다.
로봇 AI 학습에 필요한 세 가지 라벨
GEAR 연구팀에 따르면 로봇 파운데이션 모델 학습에는 세 종류의 영상 라벨이 필요하다. 언제 어떤 동작이 일어나는지 설명하는 라벨은 학습 데이터 선별에 쓰인다. 단계별 진행도 평가는 시행착오 학습에, 작업 성공 여부 판정은 현장 운용 중 모니터링에 쓰인다. 기존 도구는 대부분 한 가지만 제공하고, GPT-6 Astra 같은 대형 언어모델은 여러 종류를 만들 수 있지만 방대한 영상 규모에는 비용 부담이 크다는 설명이다.
플로라는 알리바바의 큐웬(Qwen3.5)을 미세조정한 세 모델로 구성된다. 90억 매개변수(9B) 모델이 영상을 동작 구간으로 나누고, 270억(27B) 모델이 앞뒤 맥락을 반영해 각 동작을 설명한다. 또 다른 27B 모델 '플로라 리워더(Flora-Rewarder)'는 에피소드 성공 여부를 5점 척도로 평가하고, 0.5초 단위 스텝을 정상·비최적·실패로 분류하며, 스스로 만든 기준표로 점수를 매긴다. 엔비디아는 GB300 GPU 512개로 하루 최대 20만 시간 분량의 영상을 처리하며 GR00T 모델 학습에 이미 쓰고 있다고 밝혔다.
벤치마크: 오류 탐지는 우위, 설명 정확도는 엇갈려
영상 50편 테스트에서 플로라는 추론 능력을 최대로 쓴 GPT-6 Astra보다 근소하게 높은 점수를 받았다고 엔비디아는 밝혔다. 앤스로픽(Anthropic)의 클로드 오퍼스 5(Claude Opus 5)는 점수가 크게 낮았는데도 시간당 약 42달러가 들었다. 다만 플로라의 비용은 GPU 1개당 시간당 10달러 임대를 가정한 계산값으로, 실제 운영에서 측정한 수치가 아니다.
공개 벤치마크 WGO-Bench에서 플로라는 동작 경계 탐지에서 가장 뛰어났지만 종합 점수는 Astra에 못 미쳤고, 설명 정확도만 보면 제미나이 3.8 플래시(Gemini 3.8 Flash)에도 뒤졌다. 자체 DenseCaptionBench에서는 사람 영상 전 항목에서 1위였으나 로봇 영상에서는 Astra에 이어 2위였다. 연구진은 Astra가 평가자이면서 평가 대상이기도 하다는 방법론상 한계를 인정했다.
RoboRewardBench에서는 플로라의 오류율이 Astra보다 27.8% 낮았다. 리워더는 에피소드 중간의 실패 스텝을 53.3% 잡아냈는데, 경쟁 모델은 11.7%를 넘지 못했고 Astra는 하나도 잡지 못했다. 대신 정상 스텝의 약 11%를 오류로 잘못 표시한다. 짧은 손동작이 많은 영상에서는 37개 동작 중 34개를 찾아냈지만(Astra는 4개), 긴 동작을 과도하게 쪼개거나 접시를 닦는 동작을 냅킨 접기로 설명하는 오류도 있었다.
엔비디아의 로봇 전주기 전략
엔비디아는 플로라를 스케일 AI(Scale AI)의 피지컬 AI 데이터 엔진 같은 상용 서비스의 오픈 대안으로 내세운다. 연구자는 이를 이용해 자체 로봇 데이터셋을 확장하고 사람 시연을 로봇에 옮기는 연구를 할 수 있다. 엔비디아는 올해 GTC에서 공개한 학습 데이터 자동 준비·증식·평가 파이프라인에 플로라의 상세 라벨과 보상 신호를 더했다. 하드웨어부터 데이터, 시뮬레이션, 모델까지 로봇 가치사슬 전체를 아우르려는 전략으로, 오픈 모델 투자로 개발자를 자사 칩 생태계에 묶어두려는 목적도 있다. 구글이 최근 발표한 제미나이 4 아르곤(Gemini 4 Argon)도 학습 영상에서 작업 단계를 식별하고 실패 동작을 표시하는 비슷한 영역을 겨냥한다.
국내 로봇·휴머노이드 기업도 학습 데이터 라벨링 비용을 줄일 수 있는 선택지가 생겼다. 다만 비용 수치가 추정치인 만큼 자사 데이터로 검증이 필요하다.
