梁文锋杨植麟论文撞题，“注意力机制”对大模型意味着什么

2月18日，在大洋彼岸的马斯克秀出最新大模型Grok 3当天，国产AI公司深度求索（DeepSeek）最新一篇论文引发关注，创始人梁文锋在署名之列，并2月16日提交到预印本平台arxiv。

通过NSA新架构，和Transformer原先传统的注意力机制相比，准确率相同或更高，处理64k标记序列时速度可提高至11.6倍，且训练更高效，所需算力更少。

值得注意的是，此次论文作者中，梁文锋在作者排名中位列倒数第二。而第一作者是袁景阳（Jingyang Yuan）。据公开信息，袁景阳目前是北京大学硕士研究生，研究领域包括LLM和AI for Science，目前是DeepSeek的实习生，据袁景阳个人主页，他在去年参与7篇论文的撰写。

此前，在发布Grok 3同时，马斯克透露，Grok 3的计算能力是Grok 2的10倍以上，训练过程累计消耗20万张英伟达GPU。而梁文锋的训练思路似乎与马斯克截然相反，更关注如何在更少算力消耗下，达到更好的计算效果。

有趣的是，对于马斯克坚持大力出奇迹的思路，另一家国内大模型独角兽“月之暗面”几乎在同时提出挑战。

2月18日，就在DeepSeek论文发布当天，月之暗面创始人杨植麟也带领团队发布最新论文《MoBA: MIXTURE OF BLOCK ATTENTION FOR LONG-CONTEXT LLMS（直译为“MoBA：面向长上下文大语言模型的块注意力混合方法”）》，提出了与NSA类似的稀疏注意力框架MoBA，并设计了一套可以自由切换全注意力和稀疏注意力机制的方式，为已有的全注意力模型更多的适配空间。

据介绍，MoBA是“一种将混合专家（MoE）原理应用于注意力机制的创新方法”，旨在提高长文本处理效率。经过Kimi平台验证，MoBA架构能将处理1M长文本的速度提升6.5倍，将处理10M长文本的速度提升16倍。

MoBA提升效率的关键手段在于仅关注部分键值。Kimi团队把完整的上下文划分成“块（block）”、让每个查询token自动关注最相关的KV（键值）块，从而实现长序列数据的高效处理，并提出一种新的top-k门控机制，无需额外训练参数，为每个查询token挑选出最相关的“块”，保证模型的注意力聚焦在包含最有用信息的“块”上。

Kimi团队表示，开展这项研究的原因在于，在传统注意力机制中，计算复杂度随着序列长度的增加而呈平方级增长，阻碍了模型对长序列的高效处理。MoBA架构能够轻松融入现有模型，不需要高昂的训练成本，并实现与全注意力模式的无缝切换。

国产AI竞赛正在日益加剧中。1月20日，中国AI初创公司深度求索（DeepSeek）推出大模型DeepSeek-R1。作为一款开源模型，R1在数学、代码、自然语言推理等任务上的性能能够比肩OpenAI o1模型正式版，并采用MIT许可协议，支持免费商用、任意修改和衍生开发等。春节假期后，国内多个行业龙头公司均宣布接入DeepSeek。

2月8日，QuestMobile数据显示，DeepSeek在1月28日的日活跃用户数首次超越豆包，随后在2月1日突破3000万大关，成为史上最快达成这一里程碑的应用。

DeepSeek的爆发正在重塑中国大模型行业，从过去的“烧钱换估值”转向关注技术性价比与商业化闭环。在这个日新月异的赛道，由DeepSeek引领的开源已成为大模型整体潮流，2月18日，阶跃星辰和吉利汽车联合宣布，将双方合作的阶跃两款Step系列多模态大模型向全球开发者开源。其中，包含目前全球范围内参数量最大、性能最好的开源视频生成模型阶跃Step-Video-T2V，以及行业内首款产品级开源语音交互大模型阶跃Step-Audio。