近期，来自清华大学、上海交通大学、北京华控智加科技有限公司和华北电力大学的研究者联合发布首个多模态工业信号基座模型 FISHER，采用搭积木的方法对异质工业信号进行统一建模。目前技术报告和权重均已开源，欢迎使用！

微软本周宣布推出可在PC机或边缘设备执行的38亿参数推理模型Phi-4-mini-flash-reasoning，以新的混合架构提升性能，低延迟性与推理能力兼备。

在AI界掀起波澜的最新动态中，谷歌以双重策略震撼了大模型战场。一方面，T5Gemma的横空出世重新点燃了encoder-decoder架构的战火，性能实现了显著提升；另一方面，MedGemma则坚守decoder-only路线，强势进军医疗多模态领域 ...

【新智元导读】Google双线出击！T5Gemma重燃encoder-decoder架构战火，性能暴涨12分；MedGemma坚守decoder-only路线，强攻医疗多模态，击穿闭源壁垒。Gemma体系完成「架构+落地」双重进化，打响Google开 ...

一直以来，Nullmax 专注于打造以纯视觉为核心的平台化辅助驾驶方案。在前沿技术引领方面，Nullmax团队研究成果已多次入选国际顶会 CVPR、ECCV 与 ...

Transformers 是一种基于自注意力机制的架构，主要架构由左侧的编码器（Encoder）和右侧的解码器（Decoder）构成。本次我们主要来看解码器如何工作。

然而，事实是主流的 Decoder-only LLM 都还是加上了额外的位置编码，比如 RoPE、ALIBI 等。 那么问题就来了：明明说了不加位置编码也可以，为什么主流 ...

yuejingming / kuguo-kgm-decoder-20240717 Public forked from ghtz08/kugou-kgm-decoder Notifications You must be signed in to change notification settings Fork 0 Star 0 ...

1. Decoder中的预测时间步依赖 在Decoder中考虑预测时间步依赖的建模方法中，可以分成2种类型，分别是Free Running和Teacher Forcing。 Free Running：Free Running在训练阶段输入真实值，在预测阶段由于无法获取到真实值，就输入上一个时刻的预测值代替。

那么，为什么 Decoder-only 架构会成为 LLM 的主流选择呢？ 知乎上也有同款问题《为什么现在的 LLM 都是 Decoder only 的架构？ 》[1]，上面的回答大多数聚焦于 Decoder-only 在训练效率和工程实现上的优势，那么它有没有理论上的优势呢？