데사(Dessa), 음성만으로 학습한 풀듀플렉스 모델
블록(Block)은 자체 연구소에서 개발한 음성 AI 모델 '데사(Dessa)'를 공개했다고 밝혔다. 회사에 따르면 데사는 사람의 음성 데이터와 엔비디아(NVIDIA) GPU 한 대만으로 학습됐다. 웃음, 말 멈춤, 울음 등 사람 같은 표현을 낸다는 점이 특징이다.
데사는 말하면서 동시에 듣는 풀듀플렉스(full-duplex) 방식이다. 오픈AI(OpenAI)가 올해 초 선보인 GPT-라이브(GPT-Live)와 같은 구조다. 일반적인 음성 모델은 지식 검색을 위해 대규모 언어모델(LLM)과 결합하는 경우가 많은데, 블록은 데사의 지식이 학습한 대화 데이터에서 나온다고 설명했다.
텍스트 거치지 않는 음성 AI, 감정 정보 보존
블록은 기존 음성 AI가 부자연스럽고 답답하게 느껴지는 이유로 파이프라인에 텍스트가 끼어 있다는 점을 꼽았다. 사용자의 목소리를 텍스트로 바꾸는 과정에서 텍스트가 담지 못하는 많은 정보가 사라진다는 것이다. 회사는 블로그에서 "가장 강력한 AI도 사용자의 기분을 듣지 못한다"며 이런 방식이 경험을 떨어뜨리고 잠재적으로 위험하다고 지적했다.
일레븐랩스(ElevenLabs) v4나 피시 오디오(Fish Audio) 드라마 3 같은 모델은 음성 태그로 감정을 조절한다. 블록은 데사의 감정이 모델에 내재돼 있다고 주장하지만, 내부적으로 태그 같은 방식이 쓰이는지는 분명하지 않다.
연구진이 공개한 시연 영상에서 데사는 일 때문에 피곤하다고 말하며 실제로 지친 목소리를 냈고, 감정이 북받쳐 울먹이는 듯한 대화도 선보였다. 블록 직원이 추측 게임을 하는 장면도 포함됐다.
맥북 M4 맥스급에서 로컬 실행, 일반 공개는 아직
블록은 데사가 맥북 M4 맥스(MacBook M4 Max) 이상의 소비자용 컴퓨터에서 로컬로 실행된다고 밝혔다. 현재 일반 공개는 이뤄지지 않았으며, 음성 에이전트가 상대방을 속이는 사례 등을 점검할 안전성 연구자를 모집 중이다.
블록은 금융 서비스를 소상공인에게 제공하는 기업으로, 자회사 스퀘어(Square)는 이미 음성 AI를 주문 처리에 활용하고 있다. 기기 내에서 구동되는 자체 음성 모델을 확보하면 더 낮은 비용으로 다양한 기업·소비자 서비스를 구현할 수 있을 것으로 보인다.
