但序列越来越长，传统的注意力机制就开始因为太过复杂成为了造成运行延迟的最大因素。理论分析显示，使用 softmax 架构的注意力计算在解码 64k 长度的上下文时，几乎占据了总延迟的 ...

近日，金融界爆出一条重磅消息：辉达公司申请了一项名为“使用扩散进行合成图像增强的上下文保留”的专利，公开号为CN119494786A。这项专利的申请日期为2024年8月，专利摘要显示，辉达提出了一种利用扩散模型生成合成图像的方法，旨在逼真地添加增强效 ...

2025年初，江苏金智教育信息股份有限公司成功获得一项名为“一种基于上下文注意力的图片人头计数的方法和装置”的专利。这一研究成果的背后，体现了当前人工智能领域尤其是在图像识别技术方面的蓬勃发展和创新应用。此专利于2022年3月申请，最近获得国家知识产 ...

在人工智能领域，技术的每一次迭代都意味着新的突破和更高的性能。DeepSeek，作为最新一代的人工智能大语言模型，其“脑回路”——即内部结构和处理机 ...

DeepSeek在AI领域的发展一直备受关注，其最新论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse ...

2月18日，DeepSeek团队发布了一篇新论文，介绍了一种改进的稀疏注意力机制NSA，适用于超快速的长上下文训练与推理。NSA以性价比极高的方式在训练阶段应用稀疏性，在训推场景中均实现速度的明显提升，特别是在解码阶段实现了高达11.6倍的提升。

快科技2月18日消息，据报道， DeepSeek团队在其新发表的论文中介绍了NSA（Native Sparse Attention）， ...

实验表明，在解码64k上下文时，基于softmax架构的注意力计算占到总延迟的70%-80%。而在不影响性能的前提下，NSA在64k上下文的解码、前向传播和反向传播中均实现了显著加速。

因为就大模型的实际应用而言，用户往往输入并不规则，随时来个长上下文对话或者给你传上去一个超长PDF，这就需要内核支持“动态序列”，同时还能保持高效，而这块，DeepSeek也做了大幅的优化。

BoostStep团队 投稿量子位 | 公众号 QbitAI 仅需简单提示，满血版DeepSeek-R1美国数学邀请赛AIME分数再提高。 上海交大、港中文、上海AI实验室等带来最新成果BoostStep对齐推理和上下文学习粒度，大幅提升上下文学习性能，突破少样本学习上限。 大语言模型使用多步推理解决复杂数学问题，即先将复杂问题分解为多个步骤并逐步进行推理。 研究人员实验发现后者是推理效果的瓶颈： ...

PANews 2月18日消息， DeepSeek 宣布推出NSA（稀疏注意力机制），该机制与硬件高度一致且支持本机训练，旨在实现超快速的长上下文训练和推理。通过针对现代硬件的优化设计，NSA在加速推理速度的同时显著降低预训练成本，且不会影响模型性能。