介绍
[Chinês] Endereço do site: https://lightseek.org/blog/lightseek-tokenspeed.html
TokenSpeed é um motor de inferência LLM projetado com o objetivo de operar na "velocidade da luz", concebido a partir de primeiros princípios e feito sob medida para workloads agênticos. Cargas de trabalho agênticas geralmente consistem em múltiplas chamadas sucessivas do modelo dentro de uma mesma tarefa, exigindo muito do agendamento, da execução paralela e do gerenciamento de estados intermediários como o cache KV — e o TokenSpeed foi construído justamente em torno dessas demandas. Ele combina um mecanismo de paralelismo modelado via compilador, um agendador de alto desempenho, restrições seguras de reutilização de recursos KV, um sistema de kernels em camadas plugável com suporte a aceleradores heterogêneos, além da integração com o SMG.
Funcionalidades
- Paralelismo baseado em modelagem via compilador: As estratégias de execução paralela são derivadas por modelagem do compilador, em vez de ajustes manuais, ajudando a organizar o cálculo paralelo durante a inferência de forma sistemática.
- Agendador de alto desempenho: Coordena requisições e recursos de computação, ajudando a manter alto throughput e respostas rápidas nos padrões de inferência frequentes e de múltiplas etapas típicos de agentes.
- Restrições seguras de reutilização de recursos KV: O cache KV armazena estados intermediários da atenção; a reutilização melhora a eficiência, e o TokenSpeed governa esse reuso por meio de mecanismos de restrição segura, evitando compartilhamento indevido de recursos.
- Sistema de kernels em camadas plugável: Os kernels de computação são organizados em camadas e conectados como plugins, facilitando a adaptação a diferentes tipos de hardware de aceleração e, assim, suportando aceleradores heterogêneos.
- Integração com o SMG: Conta com integração nativa ao SMG, permitindo que o TokenSpeed funcione em conjunto com o SMG.
- A ferramenta está em constante atualização; para mais funcionalidades, visite o site oficial.
[Inglês]
Introdução
TokenSpeed é um motor de inferência LLM em velocidade da luz, projetado a partir de primeiros princípios para workloads agênticos. Workloads agênticos geralmente consistem em muitas chamadas sucessivas do modelo dentro de uma única tarefa, o que impõe grandes demandas ao agendamento, à execução paralela e ao gerenciamento de estados intermediários como o cache KV. O TokenSpeed foi construído em torno dessas demandas: incorpora um mecanismo de modelagem de paralelismo baseado em compilador, um agendador de alta performance, restrições seguras de reutilização de recursos KV, um sistema de kernels em camadas plugável que suporta aceleradores heterogêneos e integração com o SMG.
Principais Funcionalidades
- Mecanismo de modelagem de paralelismo via compilador: As estratégias de execução paralela são modeladas por um compilador em vez de ajustadas manualmente, ajudando a organizar o cálculo paralelo durante a inferência de forma sistemática.
- Agendador de alto desempenho: Coordena requisições e recursos de computação, ajudando a sustentar alto throughput e boa responsividade sob os padrões de inferência frequentes e de múltiplas etapas típicos de workloads orientados a agentes.
- Restrições seguras de reutilização de recursos KV: Na inferência LLM, o cache KV armazena estados intermediários de atenção que podem ser reutilizados para melhorar a eficiência; o TokenSpeed governa esse reuso por meio de restrições de segurança, ajudando a garantir que os recursos não sejam compartilhados de forma inadequada.
- Sistema de kernels em camadas plugável: Os kernels de computação são organizados em camadas e conectados como módulos plugáveis, facilitando a adaptação a diferentes tipos de hardware de aceleração e, assim, suportando aceleradores heterogêneos.
- Integração com o SMG: Vem com integração ao SMG, permitindo que o TokenSpeed trabalhe em conjunto com o SMG.
- A ferramenta está atualmente em desenvolvimento contínuo. Para conhecer mais funcionalidades, visite o site oficial.
