네모트론 3.5 트랜스크라이브, 프롬프트로 출력 제어
엔비디아가 공개한 네모트론 3.5 트랜스크라이브는 녹음된 음성을 텍스트로 바꾸는 데 그치지 않고, 자연어 지시에 따라 결과물을 달리 내놓는 '프롬프트형' 음성 모델이다. 하나의 체크포인트로 전사, 화자 구분(다이어리제이션), 번역, 오디오 질의응답을 처리한다. 40개 언어를 전사하고 이 가운데 31개 언어는 영어와 상호 번역할 수 있으며, 13개 언어에서 화자를 구분한다. 최대 1시간 길이 녹음과 8명 화자까지 지원하고 단어 단위 타임스탬프도 제공한다. 다만 오디오 질의응답은 영어로 학습됐고, 실시간 스트리밍이 아닌 녹음 파일용이라고 엔비디아는 밝혔다.
음성 인코더에 하이브리드 맘바-트랜스포머 전문가혼합(MoE) 언어 모델을 결합한 구조로, 전체 300억 개 매개변수 중 토큰당 활성화되는 것은 약 40억 개다.
주요 벤치마크 성능
허깅페이스 오픈 ASR 리더보드에서 영어 평균 단어오류율(WER) 5.33%로 오픈 웨이트 모델 중 1위에 올랐다. 다국어 7개 언어 평균은 4.62%, 장문 음성은 10.98%로 모델 카드 비교 대상 중 가장 낮았다. 아티피셜 애널리시스(Artificial Analysis)의 AA-WER에서는 2.8%로 오픈 웨이트 모델 공동 1위를 기록했는데, 같은 점수의 상대 모델은 활성 매개변수가 240억 개 수준이다.
화자 구분에서는 데이비드 AI(David AI)의 21개 언어 리더보드에서 화자 오류율(DER) 18.26%로 14개 시스템 중 가장 낮았고, 보이스아레나(VoiceArena)의 영어 전체 세션 평가에서도 cpWER 32.4%로 1위였다. 엔비디아 블랙웰 RTX PRO 6000 서버 에디션 GPU 한 장에서 NVFP4 정밀도로 100시간 분량 오디오를 3분 안에 처리한다고 한다. vLLM으로 서빙할 수 있고, 베이스텐(Baseten) 등의 호스팅 엔드포인트도 이용할 수 있다.
그래뉼러리 v2와 도메인 미세조정
함께 공개된 그래뉼러리 v2는 네모 큐레이터(NeMo Curator)로 만든 다국어 음성 데이터셋으로, 공개 매니페스트 기준 48개 언어, 16개 원천 코퍼스, 총 46만 3,062시간 규모다. 이전 버전의 25개 언어에서 확대됐다. 한 녹음당 세 가지 전사 형식과 캡션, 번역, 문맥 기반 용어 힌트 등을 제공한다. 원본 오디오는 각 코퍼스의 라이선스에 따라 별도로 내려받아야 한다.
의료 사례 연구에서는 인도 의료진 음성 벤치마크로 프롬프트 개선만으로 WER를 30.8%에서 23.8%로 낮췄고, 미세조정 후 11.8%까지 줄였다. 학습에 쓰지 않은 화자 기준으로는 최적 프롬프트 대비 22.44%에서 12.17%로 45.8% 감소했다. 전 과정은 엔비디아 GB300 한 장으로 약 14 GPU시간이 걸렸다. 일반 영어(LibriSpeech test-clean)에서는 WER가 1.54%에서 1.69%로 소폭 올랐다.
한국어 지원 여부는 작업별 언어 매트릭스에서 확인해야 하지만, 회의록·콜센터·의료 기록 등 도메인 특화 음성 인식을 고민하는 국내 기업에는 오픈 데이터 파이프라인과 미세조정 레시피가 참고가 될 수 있다.
