马斯克亲自点赞,Kimi动了十一年没人敢碰的东西
分类:AI资讯 浏览量:13


架构层面的突破
月之暗面Kimi团队发布技术报告,提出"注意力残差"方案,试图替换Transformer架构中自2015年就没人动过的基础组件——残差连接。
这个被称为"深度维度上的softmax注意力"的创新,可以让AI模型更智能地选择从哪些层提取信息,而不仅仅是简单相加。
实验结果显示,使用注意力残差后,AI在科学问答、数学推理、代码生成等任务上全面超越基线模型,训练开销却只增加了不到4%。
马斯克本人也在X上回复"Impressive work from Kimi",对中国AI公司的技术论文表示认可。
估值飙升
月之暗面近期融资顺利,最新投前估值已达180亿美元,3个月内估值增长超4倍。
来源:36氪