简介
LMArena 是一个由加州大学伯克利分校 LMSYS Lab 发起的开放型、社区驱动的 AI 模型评测平台。 它通过“人类偏好投票”的方式,让真实用户参与模型对战,从而评估不同大型语言模型(LLM)的表现并形成实时排行榜。 在平台上,用户输入相同的提示(Prompt),系统随机匹配两个匿名模型生成回答,用户选择更优的一方后,系统依据结果为模型更新得分与排名。
主要功能
模型对战(Battle):系统随机选择两个模型回答同一问题,用户根据内容质量投票选出更好的回答。
排行榜(Leaderboard):根据全球用户的投票结果,平台使用 Elo 排分系统实时更新模型排名。
模型对比体验:支持用户自行选择任意模型进行并排对话体验,直接感受差异。
开放测试机制:允许新模型接入平台进行公开测试,收集社区反馈。
研究与数据开放:部分匿名化的提示与投票数据会被开放,用于模型评测和人类偏好研究。 ---
定价与费用
- 定价:我们所审阅的页面上未公开列出,请查看官方网站获取当前方案。
- 免费使用:网站核心功能——聊天、模型对比与 Battle 模式投票——均可使用,且未列出付费方案。
- 平台可用性:以网页应用形式提供(lmarena.ai),涵盖 LLM 以及图像和代码模型排行榜。
- 第三方处理:如网站所述,输入由第三方 AI 模型处理,回复可能不准确。
适用人群
- AI 研究者与模型开发者:通过社区投票了解模型在人类偏好测试下的表现,用于优化算法或参数。
- 产品经理与企业决策者:在做模型选型时,可参考 LMArena 的真实使用排名,降低决策风险。
- AI 爱好者与技术观察者:希望体验各大模型、了解性能差异和行业趋势。
- 创业者与内容创作者:可通过平台了解当前最受欢迎的模型方向,为产品设计和内容创作提供参考。
- 教育与学术机构:适用于课程教学、AI 伦理研究或人机交互实验的数据分析。