简介
LMArena 是一个由加州大学伯克利分校 LMSYS Lab 发起的开放型、社区驱动的 AI 模型评测平台。
它通过“人类偏好投票”的方式，让真实用户参与模型对战，从而评估不同大型语言模型（LLM）的表现并形成实时排行榜。
在平台上，用户输入相同的提示（Prompt），系统随机匹配两个匿名模型生成回答，用户选择更优的一方后，系统依据结果为模型更新得分与排名。
主要功能
- 模型对战（Battle）：系统随机选择两个模型回答同一问题，用户根据内容质量投票选出更好的回答。
- 排行榜（Leaderboard）：根据全球用户的投票结果，平台使用 Elo 排分系统实时更新模型排名。
- 模型对比体验：支持用户自行选择任意模型进行并排对话体验，直接感受差异。
- 开放测试机制：允许新模型接入平台进行公开测试，收集社区反馈。
- 研究与数据开放：部分匿名化的提示与投票数据会被开放，用于模型评测和人类偏好研究。
特色优势
- 真实用户偏好驱动
LMArena 的排名基于真实用户的选择，反映模型在实际使用场景中的体验优劣。 - 匿名评测减少偏见
投票前模型身份隐藏，确保评判仅基于回答内容，而非品牌印象。 - 动态、实时更新
排行榜会随投票变化持续刷新，保持模型表现的时效性。 - 多源模型覆盖
同时收录开源模型与商业模型，提供跨平台的公平比较。 - 社区与研究价值
开放的数据和评测机制，为 AI 研究、教学和产品优化提供了宝贵资源。
适用人群
- AI 研究者与模型开发者：通过社区投票了解模型在人类偏好测试下的表现，用于优化算法或参数。
- 产品经理与企业决策者：在做模型选型时，可参考 LMArena 的真实使用排名，降低决策风险。
- AI 爱好者与技术观察者：希望体验各大模型、了解性能差异和行业趋势。
- 创业者与内容创作者：可通过平台了解当前最受欢迎的模型方向，为产品设计和内容创作提供参考。
- 教育与学术机构：适用于课程教学、AI 伦理研究或人机交互实验的数据分析。
常见问题
是否需要注册？
普通用户无需注册即可参与模型对战和投票，操作简单便捷。
提示内容会公开吗？
平台可能在匿名化后公开部分提示与回答，用于研究和模型改进，不会泄露个人信息。
模型排名如何计算？
LMArena 采用类似 Elo 的评分系统，每一次投票结果都会影响模型的总分，从而动态更新排行榜。
是否包含商业模型？
是的，平台既收录开源模型，也包含商业闭源模型，确保比较范围广泛且客观。
是否完全公平？
匿名机制能显著减少品牌偏见，但由于提示内容和样本分布不同，仍存在一定误差。平台团队正持续改进算法以提高公平性。
可以提交自己的模型吗？
开发者可申请接入平台，对自己的模型进行公开测试和社区评估。
是否收费？
普通用户体验和投票完全免费；模型接入和研究数据使用可能需单独申请或协议。
能否用于正式性能评测？
LMArena 的结果更偏向用户主观偏好，不等同于传统基准测试，但在用户体验层面具有重要参考价值。
