토큰스피드, 에이전트 워크로드용 'LLM 추론 엔진' 오픈소스 공개
비영리 라이트시크 재단(LightSeek Foundation)이 에이전트 워크로드에 맞춘 LLM 추론 엔진 lightseekorg/tokenspeed를 오픈소스로 공개했다. GitHub 스타는 2,396개로 하루 새 25개가 늘었다. TensorRT-LLM 수준의 성능과 vLLM 수준의 사용성을 목표로 한다고 밝혔다.
전 세계 인공지능 뉴스를 한국어로
비영리 라이트시크 재단(LightSeek Foundation)이 에이전트 워크로드에 맞춘 LLM 추론 엔진 lightseekorg/tokenspeed를 오픈소스로 공개했다. GitHub 스타는 2,396개로 하루 새 25개가 늘었다. TensorRT-LLM 수준의 성능과 vLLM 수준의 사용성을 목표로 한다고 밝혔다.