简介

Klu 是一个语言模型评测平台，评测依据是企业自身的工作流，而非通用的公开基准。团队只需描述自己的使用场景，Klu 便会构建评测集、为模型输出评分，并报告针对每个具体任务哪个模型表现最好、成本多少。对于在生产环境中运行 LLM 的公司来说，这解决了一个常见难题：新发布的模型在自己的真实负载上，究竟会提升准确率还是降低成本。

该产品由 Klu, Inc.（klu.ai 背后的公司）开发。Klu 的使用分三步：用户用自然语言描述工作流，选择要评测的模型提供商和模型，再提供评测数据——可以由 Klu 生成、从数据源导入，或由用户自己的 agent 发送。当模型提供商发布新版本时，Klu 会自动重跑评测，让团队第一时间看到新前沿模型是否优于当前使用的模型。用户使用自己的 API key 运行模型，推理费用由提供商按标价直接计费。

主要功能

自动模型评测：Klu 根据你描述的工作流构建基准测试、为答案评分，并基于你的真实任务比较前沿模型，而不是使用 SWE-bench 之类的公开测试集。

版本发布自动重跑：模型实验室每次发布新版本时自动重跑评测，Team 套餐及以上可生成可分享报告，并通过邮件或 Slack 提醒。

成本与准确率对比：报告将评分与单任务成本并列展示，团队可以直观看到权衡，例如某个模型评分更高同时单任务成本更低。

灵活的数据来源：评测集可由 Klu 生成、从现有数据源导入，或由你自己的 agent 以编程方式提供。

自带 API key：用户接入自己的提供商 API key，推理费用由模型实验室按标价计费，Klu 不加价。

安全控制：文件、提取的文本和 API key 在存储前均使用 AES-256-GCM 加密；平台可检测评测数据是否被篡改，对每个请求执行工作区角色校验，并将文件限定在其所属工作流内。

私有云选项：企业版附加组件可在客户自己的 VPC 和区域内运行 Klu，使 API key、评测数据和报告全部保留在客户账户内。

定价与费用

定价：Pro 套餐每月 $50，含 1,000 积分和 3 个跟踪工作流；Team 套餐每月 $200，含 6,000 积分（5,000 加 1,000 赠送）和 15 个跟踪工作流；Enterprise 为定制报价，含按量扩展的积分、SSO、审计日志和可配置的数据保留策略。
积分体系：积分用于构建基准测试、评分答案和模拟用户；构建基准测试每例消耗 12 积分，为 100 个答案评分约消耗 124 积分。积分包价格为 $600 积分 $10、$2,000 积分 $30、$3,500 积分 $50。
专家服务：Model Selection Sprint 一次性收费 $1,000，Advisory Retainer 每月 $1,600，两者均包含 Team 套餐使用权。
行业化评分：Klu 支持针对不同领域定制的评分方法，包括工程领域的通过/不通过测试、文档提取的字段级准确率、医疗领域的临床医生评分标准，以及研究任务的专家评分标准。

适用人群

Klu 面向在生产环境中运行 LLM 工作流、需要依据数据再切换模型的工程、数据和运营团队。典型用户包括：为代码评审或测试生成评分的 ML 工程师和平台工程师、验证 SQL 生成的数据团队、按单工单成本优化工单路由和回复撰写的客服团队，以及需要基于评分标准并留存审计记录的法律、医疗和研究团队。它同样适合在自己数据上比较前沿模型供应商的 CTO 和采购团队，以及出于安全与合规原因需要私有云部署的企业。

常见问题

Klu 是什么？Klu 是一个评测平台，在企业自身工作流上对前沿 AI 模型进行基准测试，衡量准确率和成本，为每个生产用例找出最合适的模型。

Klu 的价格是多少？Pro 套餐每月 $50，Team 每月 $200，Enterprise 为定制报价；专家咨询服务从 $1,000 起。模型推理费用需用户用自己的 API key 按提供商标价另行支付。

Klu 提供免费套餐吗？在所查阅的定价页面上没有免费套餐，最低一档是每月 $50 的 Pro 套餐。

Klu 可以评测哪些模型和提供商？Klu 可评测多家提供商的当前前沿模型，用户可选择要跟踪的提供商，新模型发布时评测会自动重跑。

Klu 如何处理数据隐私？Klu 对文件、提取的文本和 API key 在存储前使用 AES-256-GCM 加密，检测评测数据是否被篡改，对每个请求执行工作区角色校验，并提供完全在客户自己 VPC 内运行的私有云附加组件。

简介

主要功能

定价与费用

适用人群

常见问题

用户评价 (0)

你会推荐 Klu 吗？留下你的评价

相关教程

相关工具