무엇을 하나
lightseekorg/tokenspeed는 에이전트형 워크로드에서 추론 성능을 끌어올리는 데 초점을 둔 LLM 추론 엔진이다. 주 언어는 파이썬이며, 프로젝트 측은 TensorRT-LLM 수준의 성능과 vLLM 수준의 사용성을 함께 갖추는 것을 목표로 내세운다. 개발은 기업이 아닌 비영리 라이트시크 재단이 맡고 있다. README는 엔비디아(NVIDIA)와 AMD 등 하드웨어 업체의 엔지니어링 지원을 받고 있어 특정 업체에 치우치지 않는 '중립적인' 엔진이라고 소개한다.
README에 따르면 2026년 5월 처음 공개된 뒤 Kimi K3, Qwen3.8 등 신규 모델을 출시 당일(Day 0)부터 지원해 왔다. 올해 8월에는 파이토치 재단(PyTorch Foundation)의 에코시스템에 합류했다.
작동 방식·구조
핵심은 제어 평면과 실행 평면의 분리다. 요청의 생애주기, KV 캐시 소유권, 연산 겹침 타이밍을 관리하는 스케줄러는 C++로 작성한 유한 상태 기계(FSM)로 구현했다. KV 캐시 자원을 안전하게 재사용하는지를 런타임이 아니라 컴파일 시점에 타입 시스템으로 검증한다는 설명이다. 실제 연산을 수행하는 실행 평면은 파이썬으로 짜 연구자와 엔지니어가 빠르게 실험할 수 있게 했다. 파이토치 재단은 이를 두고 제어 평면을 분리한 첫 오픈소스 추론 엔진이라고 평가했다.
커널은 별도의 모듈형 계층으로 분리했다. 공개 API와 중앙 레지스트리, 플러그인 방식을 통해 이기종 가속기를 붙일 수 있다. 블랙웰(Blackwell) GPU에서 에이전트 워크로드에 쓰는 MLA(Multi-head Latent Attention) 구현 가운데 가장 빠른 축에 속한다고 설명한다. 요청 처리 입구는 SMG와 통합한 AsyncLLM으로, CPU 측 오버헤드를 줄였다고 밝혔다.
써보면
시작 가이드, 서버 실행법, 모델별 레시피, 병렬화 설정 문서는 라이트시크 웹사이트에 정리돼 있다. README 본문에는 설치 명령이나 예제 코드가 없어 구체적인 사용 절차는 공식 문서를 확인해야 한다.
성능 주장과 활용
README는 B200 GPU에서 Kimi K2.5로 에이전트 워크로드를 돌렸을 때 TensorRT-LLM과 비교한 파레토 곡선을 제시했다. 또 Qwen3.5-397B-A17B에서 초당 580토큰(TPS), 엔비디아 GB300에서 Qwen3.8-Flash-Next를 사용자당 초당 685토큰으로 서빙했다고 밝혔다. AMD Instinct MI355X에서 Kimi K3를 돌린 사례도 소개했다. 모두 프로젝트 측이 공개한 수치로, 독립 검증 결과는 아니다.
의의와 한계
에이전트 코딩처럼 긴 컨텍스트와 잦은 도구 호출이 이어지는 환경에 맞춰 설계했다는 점이 특징이다. 엔비디아와 AMD를 모두 지원하는 점은 GPU 선택지를 고민하는 국내 인프라 팀에 참고가 될 수 있다. 다만 README에서는 라이선스와 지원 모델 전체 목록을 확인할 수 없고, 프로젝트 역사가 5개월 남짓이어서 도입 전 자체 벤치마크가 필요해 보인다.
