Cactus - On-device AI for Smartphones, Laptops & Edge - 本地AI引擎

Cactus - On-device AI for Smartphones, Laptops & Edge - 本地AI引擎

4.0

One inference engine for on-device AI across smartphones, laptops, and edge hardware. Run LLMs, transcription, and embeddings locally with automatic cloud fallback.

最后更新 2026 年 11 月 10 日
Cactus - On-device AI for Smartphones, Laptops & Edge - 本地AI引擎 截图

简介

Cactus 是一款专为智能手机、笔记本电脑及边缘硬件打造的本地 AI 引擎。它提供统一的推理运行时,让开发者能够在终端设备上直接运行大语言模型(LLM)、语音转录和文本嵌入等 AI 任务。Cactus 的核心优势在于将 AI 处理从云端迁移至本地,在保障数据隐私的同时实现毫秒级响应,并支持在设备算力不足时自动切换至云端回退,确保服务永不中断。

主要功能

多模型支持:无缝运行主流开源 LLM(如 Llama、Mistral)、Whisper 语音转录模型及各类 Embedding 模型。
自动云回退:当本地设备算力不足或未安装特定模型时,自动将推理请求转发至云端,用户无感切换。
跨平台统一 API:一套推理接口即可覆盖 Android、iOS、Windows、macOS 及 Linux 边缘设备,大幅降低集成成本。
轻量化部署:核心引擎体积仅数 MB,支持动态模型加载与缓存,不占用过多存储空间。
离线优先:所有推理任务默认在本地执行,无需网络连接即可完成基础 AI 功能。

定价与费用

  • 定价:我们审阅的页面上未公开列出定价;请查看官方网站获取当前方案。
  • 托管微调方案:网站提供托管微调的方案查询接口,并提及 Starter(一次性购买)与 Pro(订阅)两档方案,API 密钥在账单控制台中管理。
  • 免费本地使用:Needle 3 基础模型开放下载,可在本地免费运行和评估;Whistle 语音识别与 Needle 3 均为开放模型。
  • 模型体积:Needle 3 以单一 8–29 MB 二进制文件交付,采用低于 2 比特的量化;最小模型可在低端手机、可穿戴设备和 Raspberry Pi 上仅靠 CPU 运行,无需 GPU 或服务器。

适用人群

  • 移动应用开发者:希望在 App 中集成智能聊天、实时翻译或语音助手功能。
  • 边缘计算工程师:需要在 IoT 网关、工控机等低功耗设备上运行 AI 推理。
  • 企业 IT 团队:追求数据本地化处理,同时希望保留云端弹性扩容能力。
  • 独立开发者与创业者:快速验证 AI 产品原型,避免初期高昂的云服务费用。
  • 学术研究人员:在本地设备上进行模型测试与调优,无需依赖实验室服务器集群。