介绍
网站地址: https://lightseek.org/blog/lightseek-tokenspeed.html
TokenSpeed 是一款以“光速”为设计目标的 LLM 推理引擎,从第一性原理出发,专为智能体工作负载而设计。智能体类负载通常由同一任务内的多次连续模型调用构成,对调度、并行执行以及 KV 缓存等中间状态的管理提出了很高要求,TokenSpeed 正是围绕这些需求构建的。它结合了基于编译器建模的并行机制、高性能调度器、安全的 KV 资源复用限制、支持异构加速器的可插拔分层内核系统,以及 SMG 集成。
核心特性
- 基于编译器的并行建模机制: 并行执行策略通过编译器进行建模,而非手工调优,有助于以系统化的方式组织推理过程中的并行计算。
- 高性能调度器: 协调请求与计算资源,在智能体驱动工作负载中常见的频繁多步推理模式下,帮助保持高吞吐量和响应速度。
- 安全的 KV 资源复用限制: 在 LLM 推理中,KV 缓存存储了可复用以提升效率的中间注意力状态;TokenSpeed 通过安全限制来管控此类复用,帮助确保资源不会被不当共享。
- 可插拔的分层算子系统: 计算算子按层组织并以可插拔模块的方式连接,更易于适配不同类型的加速器硬件,从而支持异构加速器。
- SMG 集成: 内置对 SMG 的集成,使 TokenSpeed 能够与 SMG 协同工作。
- 该工具目前仍在持续开发中。欲了解更多功能,请访问官方网站。