开云体育
开云体育DeepSeek NSA论文荣膺ACL桂冠知乎答主热议一线科研成果
NSA机制会做两件事:一是‘数据压缩’,先找到超市导览图确定日用品楼层,二是‘智能选择’,重点聚焦清洁洗护区
更多一线从业者从专业技术角度深入阐释。复旦大学计算机技术硕士、知乎答主Nil-9解读了NSA的三个主要部件:压缩模块、Blockwise选择模块和滑动注意力,指出“NSA既包含了Memory compression的思路,在这个基础上又引入了稀疏化,并且还加入了位置先验的稀疏化(sliding component)”。计算机硬件从业者、知乎答主锤炼小助手则将NSA概括为:“一个针对transformer attention的、简单有效、高度硬件友好的token数量压缩算法”。
知乎上围绕稀疏注意力的专业讨论早有积累,且极具行业前瞻性。2024年,清华大学计算机系副教授、知乎答主刘知远团队发布大模型长文本理解方法InfLLM,其中涉及的NSA改进方案被DeepSeek此次论文引用。InfLLM项目参与者、知乎答主xcjthu也深度参与NSA讨论,并表示,“正如Deepseek-V3带给大家的震撼一样,我认为NSA的硬件亲和性是这篇论文最精彩的部分”。
除了高校研究项目,多家AI明星企业也相继发布了有关稀疏注意力的研究成果。微软亚研院高级研究员曹士杰分享了团队稀疏注意力相关的研发进展;月之暗面则发布了开源稀疏注意力框架MoBA。这些一线开发者不约而同选择知乎作为专业交流阵地,形成AI科研成果碰撞的独特场域。
自2011年上线以来,知乎始终是科技领域的前沿讨论场,记录了不同技术周期下开发者的创新成果。随着AI时代的到来,大批AI开发者、从业者涌入并活跃于此。截至目前,知乎已聚集起1600万科技与AI领域持续学习者,356万科技与AI话题深度创作者,沉淀了858万个AI相关问题、2000多万个AI专业回答。知乎已然成为开发者首发项目、首谈方向、首秀成果的阵地,为AI前沿技术和应用提供了重要的创新窗口和趋势指引。