·聚焦:人工智能、芯片等行业欢迎各位客官关注、转发前言：大语言模型（LLMs）规模庞大但效率低下的问题长期备受关注。尽管模型参数持续增长，其在长文本处理中的性能衰减、计算资源消耗等问题始终未能有效解决。谷歌DeepMind最新提出的MoR架构，可能为 ...

【导读】Transformer杀手来了？KAIST、谷歌DeepMind等机构刚刚发布的MoR架构，推理速度翻倍、内存减半，直接重塑了LLM的性能边界，全面碾压了传统的Transformer。网友们直呼炸裂：又一个改变游戏规则的炸弹来了。

与传统方法相比，DGMR的显著优势在于无需额外的梯度计算或迭代式剪枝-微调流程，从而大幅提升了算法效率。在剪枝完成后，方法采用知识蒸馏技术协助缩减后的模型恢复原始性能，其中原始模型作为教师模型，剪枝模型作为学生模型进行学习。

如何理解大模型推理能力？现在有来自谷歌DeepMind推理负责人Denny Zhou的分享了。 就是那位和清华姚班马腾宇等人证明了只要思维链足够长，Transformer就能解决任何问题的Google Brain推理团队创建者。 Denny ...

UIUC、斯坦福与哈佛联合提出全新「能量驱动Transformer（EBT）」架构，突破传统前馈推理方式，以能量最小化模拟人类System 2思维，预训练扩展性能较Transformer++最高提升35%。下一代AI基础架构新变革，来了！

【导读】Transformer杀手来了？KAIST、谷歌DeepMind等机构刚刚发布的MoR架构，推理速度翻倍、内存减半，直接重塑了LLM的性能边界，全面碾压了传统的Transformer。网友们直呼炸裂：又一个改变游戏规则的炸弹来了。

大型语言模型已展现出卓越的能力，但其部署仍面临巨大的计算与内存开销所带来的挑战。随着模型参数规模扩大至数千亿级别，训练和推理的成本变得高昂，阻碍了其在许多实际应用中的推广与落地。

作为美国卡内基梅隆大学的助理教授和美国 AI 初创公司 Cartesia 的联合创始人， Albert Gu 曾凭借联合提出 Mamba 这一新型序列建模架构而 入选 TIME 100 AI ， 还曾入选 2025 谷歌研究学者计划名单。

谷歌 DeepMind 与韩国科学技术院（KAIST）的研究人员近日联合发布了一种名为“Mixture-of-Recursions”（MoR）的新型语言模型架构。据称能在保持模型性能的同时，实现了推理速度翻倍、训练计算量减少并降低了约 50% 的 ...

“其实我已经不需要发论文，也已经很久不再自己动手写代码做实验了，但是为了这篇论文我重新下场做实验。主要动力是希望把事情搞清楚。”亚马逊云上海人工智能研究院院长张峥告诉 DeepTech。

下面的公式定义了（结构化）状态空间模型，它源自一系列工作，最终催生了 Mamba。状态空间模型可被视为现代版本的循环神经网络（RNN），具有一些关键的特性。尽管实现这类模型需要大量技术工作，但本文首先提炼出了使这类模型成功匹配 Transformer 语言建模性能的核心要素。

视海芯图创始人、董事长许达文在2023松山湖论坛上介绍了公司全新的Transformer加速SoC SH1580。这款高性能智能视觉SoC集成4亿晶体管，采用12nm工艺，自主设计了多态神经网络处理器（Polymorphic Tensor Processing Unit，PTPU）和3D视觉ISP，配备了4核Arm CPU A53。