블록 데사, 인간 대화만으로 학습한 음성 AI
잭 도시(Jack Dorsey)가 이끄는 블록(Block)이 인간의 대화만으로 처음부터 학습했다는 음성 AI 모델 '데사(Dessa)'를 공개했다. 블록은 데사를 두고 "인간의 말에서 모든 지식을 얻은 진정한 스피치투스피치(speech-to-speech) 모델"이라고 소개했다. 음성을 텍스트로 바꿔 처리하는 기존 방식과 달리 말소리를 직접 입력받아 말소리로 응답하는 구조다.
블록은 모델의 성능을 보여주기 위해 사람과 나눈 대화 사례를 함께 내놨다. 데사 개발을 이끄는 라가반 투라이라트남(Ragavan Thurairatnam)은 음성으로 진행한 추리 게임 대화를 공유했다. 대화는 대체로 자연스럽게 오갔지만, 모델이 처음에 상대를 '로널도'라는 인물로 착각하는 등 다소 어색한 장면도 있었다.
영화 대화부터 오픈AI 모델과의 대결까지
데사 웹사이트에는 크리스토퍼 놀런 감독의 영화를 주제로 한 대화가 올라와 있다. 이 대화에서 데사는 브라이언 싱어 감독의 슈퍼맨 영화로 예상치 못하게 화제를 돌리기도 했다. 또 사용자가 파리 깜짝 여행을 선물했다고 말하자 "눈물 어린 감사처럼 들리는" 반응을 보인 사례도 소개됐다. 오픈AI(OpenAI)의 음성 모델 'GPT-라이브-1(GPT-Live-1)'과 데사가 대화하는 사례도 공개됐는데, 이 대화에서는 데사가 더 자연스럽게 들린다고 설명했다.
데사는 맥북 프로 M4 맥스(MacBook Pro M4 Max) 이상의 기기에서 로컬로 실행할 수 있다고 한다.
개발 이유는 호기심, 이해, 안전
개발팀은 모델을 만든 이유로 호기심, 인간과 AI 사이의 더 나은 이해, 안전성을 들었다. 팀은 "아기는 글자를 한 번도 보지 않고 말을 배운다. 모델도 그럴 수 있는지 확인하고 싶었고, 가능하지만 매우 어렵다"고 밝혔다. 또 기존 음성 AI가 발화를 텍스트로 단순화하면서 사람 말의 타이밍을 따라가지 못한다고 지적했다.
안전 문제도 강조했다. AI의 힘과 자율성이 커지고 있음에도 음성에 담긴 감정은 거의 알아듣지 못한다는 것이다. 팀은 사용자가 심한 고통 속에 있는데도 음성 AI가 이를 모른 채 대화를 이어가는 상황을 예로 들며, 데사가 이 문제를 해결하는 한 걸음이라고 설명했다.
블록은 AI 안전성 연구자 소규모 그룹에 데사의 초기 접근 권한을 제공할 예정이다. 일반 공개 일정은 알려지지 않았다.
