보캅X(VocabX), 토큰 수가 아닌 '비용'으로 어휘를 고른다
다르마AI는 알리바바 큐웬(Qwen)3-4B를 기반으로 운영 중인 포르투갈어 에세이 자동 채점기에 보캅X를 적용했다고 밝혔다. 이 채점기는 에세이와 지문을 입력받아 역량별 점수와 코멘트를 JSON으로 내놓는다. 기존 토크나이저는 여러 언어와 문서를 위해 만들어져, 매 요청마다 똑같이 반복되는 JSON 구조와 평가 문구를 여러 토큰으로 잘게 쪼개고 있었다고 한다.
핵심은 토큰의 빈도가 아니라 비용을 기준으로 삼은 점이다. 추론은 입력을 한 번에 처리하는 프리필(prefill)과 토큰을 하나씩 생성하는 디코드(decode)로 나뉘는데, 디코드는 메모리 대역폭에 묶여 더 비싸다. 회사가 측정한 채점기에서는 생성 토큰 하나가 입력 토큰 하나보다 7.4배 비쌌다. 보캅X는 줄인 토큰에 이 가격을 곱해 후보를 고른다.
서브워드와 매크로 토큰을 함께 최적화
보캅X는 단어를 쪼개는 서브워드 층과, 반복되는 구간을 하나로 묶는 다중 단어 층을 같은 비용 기준으로 함께 다룬다. 반복 구간은 긴 단어, 줄 단위, 표현, 문장, JSON·태그 같은 구조를 찾는 5종 탐색기로 찾아 '매크로 토큰'으로 만든다. 표본에 나타나지 않은 후보의 효과는 0으로 보지 않고 통계적으로 추정해, 계약서 말뭉치에서 토큰 감소율을 44.7%에서 52.8%로 끌어올렸다고 한다.
어휘 크기도 줄었다. 출력층(LM 헤드)은 약 15만 2천 행에서 약 6만 5천 행으로 작아졌다. 이 행렬은 토큰을 생성할 때마다 전체를 읽기 때문에 소형 모델에는 부담이 크다는 설명이다.
RTX 5090 측정 결과와 시행착오
동일한 기반 모델·데이터·레시피·시드로 토크나이저만 달리한 7개 버전을 RTX 5090과 vLLM에서 500건 요청으로 비교했다. 응답 길이는 평균 350토큰에서 101토큰으로 줄었고 비용은 77.0% 낮아졌다. 오답·규칙 위반 에세이 선별까지 포함한 벤치 점수는 0.703에서 0.810으로 개선됐다.
시행착오도 공개했다. 점수와 JSON 구조를 한 토큰으로 합친 첫 버전은 가장 압축률이 높았지만 벤치 점수가 0.689로 오히려 떨어졌다. 점수에 별도 토큰을 주자 응답당 토큰이 2개 늘었음에도 품질이 오르고 비용 절감폭도 73.3%에서 77.0%로 커졌다. 모델이 내려야 할 판단이 담긴 구간은 압축하지 않아야 한다는 교훈이다.
공개 도메인 5개(계약서, 의학 논문, 과학 논문, 뉴스, 파이썬 코드)와 모델 3종(Qwen3, Llama-3.1, Gemma-3) 15개 조합에서도 기존 방식(FVT, MWT, in-place BPE)보다 압축률이 1.2~9.3%포인트 높았다고 밝혔다. 수치는 심사 중인 논문 기준이며 발표 전 바뀔 수 있다.
