TokenSpeed: A Speed-of-Light LLM Inference Engine for Agentic Workloads

TokenSpeed: A Speed-of-Light LLM Inference Engine for Agentic Workloads

3.0

网站地址: https://lightseek.org/blog/lightseek-tokenspeed.html TokenSpeed is a speed-of-light LLM inference engine designed from first principles for agentic workloads, with a compiler-backed modeling mechanism for parallelism, a high performance scheduler, a safe KV resource reuse restriction, a pluggable layered kernel system that supports heterogeneous accelerators, and SMG integratio …

最后更新 2026 年 11 月 15 日
TokenSpeed: A Speed-of-Light LLM Inference Engine for Agentic Workloads 截图

简介

TokenSpeed 是一个光速级 LLM 推理引擎,从第一性原理出发,专为智能体(Agentic)工作负载而设计。智能体工作负载通常由单个任务中的多次连续模型调用组成,对调度、并行执行以及 KV 缓存等中间状态的管理提出了极高的要求。TokenSpeed 正是围绕这些需求而构建:它集成了基于编译器的并行建模机制、高性能调度器、安全的 KV 资源复用限制、支持异构加速器的可插拔分层内核系统,以及 SMG 集成。

主要功能

**Compiler-Model-Based Parallelism:** Parallel execution strategies are derived through compiler modeling rather than manual tuning, helping organize parallel computation during inference in a systematic way.
**High-Performance Scheduler:** Coordinates requests and compute resources, helping maintain high throughput and fast response under the multi-step, high-frequency inference patterns common in agentic workloads.
**Safe KV Cache Reuse Restrictions:** The KV cache stores intermediate states of attention computation, and reusing it improves efficiency; TokenSpeed constrains such reuse through a safe restriction mechanism to prevent improper resource sharing.
**Pluggable Layered Kernel System:** Compute kernels are organized by layer and integrated as plugins, making it easy to adapt to different types of acceleration hardware and thus support heterogeneous accelerators.
**SMG Integration:** Built-in integration with SMG, enabling TokenSpeed to work in coordination with SMG.
This tool is being continuously updated; for more features, please visit the official website.

更多介绍

介绍

网站地址: https://lightseek.org/blog/lightseek-tokenspeed.html

TokenSpeed 是一款以“光速”为设计目标的 LLM 推理引擎,从第一性原理出发,专为智能体工作负载而设计。智能体类负载通常由同一任务内的多次连续模型调用构成,对调度、并行执行以及 KV 缓存等中间状态的管理提出了很高要求,TokenSpeed 正是围绕这些需求构建的。它结合了基于编译器建模的并行机制、高性能调度器、安全的 KV 资源复用限制、支持异构加速器的可插拔分层内核系统,以及 SMG 集成。

核心特性

  • 基于编译器的并行建模机制: 并行执行策略通过编译器进行建模,而非手工调优,有助于以系统化的方式组织推理过程中的并行计算。
  • 高性能调度器: 协调请求与计算资源,在智能体驱动工作负载中常见的频繁多步推理模式下,帮助保持高吞吐量和响应速度。
  • 安全的 KV 资源复用限制: 在 LLM 推理中,KV 缓存存储了可复用以提升效率的中间注意力状态;TokenSpeed 通过安全限制来管控此类复用,帮助确保资源不会被不当共享。
  • 可插拔的分层算子系统: 计算算子按层组织并以可插拔模块的方式连接,更易于适配不同类型的加速器硬件,从而支持异构加速器。
  • SMG 集成: 内置对 SMG 的集成,使 TokenSpeed 能够与 SMG 协同工作。
  • 该工具目前仍在持续开发中。欲了解更多功能,请访问官方网站。