추론 전용 MoE, 컨텍스트 131K로 확대
리퀴드AI는 13일(현지시간) 허깅페이스(Hugging Face) 블로그를 통해 'LFM2.5-24B-A2B'를 공개했다. 기존 LFM2-24B-A2B의 구조를 유지했다. 40개 층, MoE 블록당 전문가 64개 중 4개를 선택하는 라우팅, 게이트형 단기 컨볼루션과 GQA를 섞은 하이브리드 구성이다.
컨텍스트 윈도우는 3만2천 토큰에서 13만1천 토큰으로 늘었고, 어휘 크기는 6만5천 개에서 12만8천 개로 두 배가 됐다. 비라틴 문자 처리를 개선하기 위해서라고 회사는 설명했다. 이전 모델과 달리 최종 답변 전에 사고 과정을 먼저 생성하는 추론 전용 모델이다. 사전학습 데이터는 약 17조 토큰에서 33조 토큰으로 늘렸고, 중간 학습 단계에서 추론·수학·코드·다국어 데이터와 장문 데이터를 추가로 투입했다.
에이전트 벤치마크서 큐웬3.6 대등
후속 학습은 비에이전트 및 에이전트 과제에 대한 다중 도메인 온폴리시 증류(MOPD)와, 오픈클로(OpenClaw)·헤르메스 에이전트(Hermes Agent)·파이(Pi)·오픈코드(OpenCode) 같은 하네스 안에서 진행하는 에이전트 강화학습 등으로 이뤄졌다.
회사는 큐웬3.6-35B-A3B, 젬마4-26B-A4B-it, 네모트론-3.5-라이트닝과 16개 벤치마크에서 비교했다고 밝혔다. 비교군 가운데 가장 작지만 LiveClaw에서 48.09점을 받아 큐웬3.6-35B-A3B(38.19점)를 앞섰다. 오토메이션벤치(AutomationBench), BFCLv4, 툴샌드박스(ToolSandbox), LiveClaw, τ³-Bench Banking 등 툴 사용·에이전트 벤치마크 8개 중 5개에서 선두이거나 동률이었다. 오토메이션벤치에서는 2위 모델의 3배 넘는 점수를 기록했고 지시 이행 벤치마크 3종도 모두 선두였다. 반면 GPQA 다이아몬드, HLE 같은 지식 집약 평가와 SWE-Bench Verified, 사이코드(SciCode) 등 코딩 평가에서는 더 큰 모델이 우위였다. 회사는 지식 중심 작업에는 검색을 결합하라고 권고했다.
기기·GPU 추론 속도
애플 M5 맥스에서 초당 184토큰, AMD 라이젠 AI 맥스+ 395에서 초당 114토큰을 처리해 비교 모델 중 가장 빠르고 메모리도 가장 적게 쓴다고 한다. 엔비디아(NVIDIA) B300 한 장에서는 높은 동시 처리 조건에서 초당 2만1천 토큰 이상을 출력했다.
모델은 llama.cpp, MLX, vLLM, SGLang, ONNX를 첫날부터 지원하며, 기본 모델과 후속 학습 모델 모두 허깅페이스에서 내려받을 수 있다. 개인정보를 기기 밖으로 내보내기 어려운 온디바이스 에이전트를 추진하는 국내 기업에도 참고할 만한 선택지로 보인다.
