MoR架构通过递归机制实现了层间参数的高效复用。实验数据表明，118M参数的MoR模型能够超越315M参数的传统Transformer模型的性能表现。这种参数效率的提升意味着MoR能够以约50%的参数规模实现相当甚至更优的模型准确性，为大规模模型的部 ...

大型语言模型已展现出卓越的能力，但其部署仍面临巨大的计算与内存开销所带来的挑战。随着模型参数规模扩大至数千亿级别，训练和推理的成本变得高昂，阻碍了其在许多实际应用中的推广与落地。

机器之心报道编辑：冷猫大型语言模型已展现出卓越的能力，但其部署仍面临巨大的计算与内存开销所带来的挑战。随着模型参数规模扩大至数千亿级别，训练和推理的成本变得高昂，阻碍了其在许多实际应用中的推广与落地。这促使研究者们围绕两个主要方向积极探索高效化技术： ...

递归思考 + 自我批判，CoRT 能带来 LLM 推理力的飞跃吗？ CoT（Chain-of-thought）大家都很熟悉了，通过模仿「人类解题思路」，进而大幅提升语言模型的 ...

【导读】Transformer杀手来了？KAIST、谷歌DeepMind等机构刚刚发布的MoR架构，推理速度翻倍、内存减半，直接重塑了LLM的性能边界，全面碾压了传统的Transformer。网友们直呼炸裂：又一个改变游戏规则的炸弹来了。

谷歌 DeepMind 与韩国科学技术院（KAIST）的研究人员近日联合发布了一种名为“Mixture-of-Recursions”（MoR）的新型语言模型架构。据称能在保持模型性能的同时，实现了推理速度翻倍、训练计算量减少并降低了约 50% 的 ...

可以看到在加入额外一次简单递归操作之后就可以得到将近 2% 的精度提升。 当然具体到全局网络结构层面还有不同的递归构建方法，如下图： 其中 NLL 层（Non-linear Projection Layer）是用来保证每个递归模块输入输出不完全一致。

KAIST的研究团队认识到了这个问题，他们开发了一种叫做"递归深度混合"（Mixture-of-Recursions，简称MoR）的新技术。这个系统的核心理念是让计算机学会"量身定制"式的思考：对于简单的词语，系统会快速处理；对于复杂的词语，系统会投 ...

"递归不仅仅是一个技术选择，它是机器学习最基础的概念之一，"研究团队在论文中指出。 从1986年的神经网络研究到现代的扩散模型，递归思想在 ...

当扎克伯格用1亿美金签约费争夺AI人才时，硅谷的军备竞赛已悄然转向新战场——不是模型参数量的比拼，而是谁能率先教会AI自我进化。Meta华人科学家田渊栋的最新研究揭示：当前AI展现的智能可能只是冰山一角，递归自我改进系统正在突破人类预设的天花板。

在探索人类语言奥秘的征程中，递归结构作为语言能力的核心特征长期困扰着研究者。尽管Chomsky的生成语法理论将递归性视为语言官能的基础，但一个令人费解的现象始终存在：为何全球语言普遍采用中心嵌入结构(CE，如A 1 A 2 B 2 B 1)，却几乎不见交叉依赖结构(CD，如A 1 A 2 B 1 B 2)？这一分布差异与 ...