在此背景下，月之暗面推出了Kimi K2，这是一个拥有1.04万亿总参数、320亿激活参数的混合专家（MoE）模型。从预训练与后训练两个阶段解决智能体智能面临的核心挑战，并拓展AI能力边界。

稀疏性作为降低数据量与计算量的关键技术，其有效实现成为行业痛点。传统方法如nVidia A100的像素级稀疏性难以直接适配RISC-V指令级矩阵扩展，而非零元素索引的存储开销与计算瓶颈进一步加剧了挑战。

使用稀疏动量训练的一些稀疏网络，其性能与权重仅为 5%的密集网络训练结果相一致。 是什么使这5%的权重如此有效 ，以至于它取得的效果与权重为 ...

作者 | PPIO 算法专家张青青前 言近一年以来，自 H2O 起，关于 KV 稀疏的论文便百花齐放，而在实际应用中不得不面临的一个问题便是学术论文与实际 ...

稀疏前馈。 关键思想是将前馈层划分为多个部分（称为专家），每个令牌只检索一个部分，这降低了前馈块的复杂性。 这些加速主要以训练速度来 ...

当稀疏计算与密集计算的负载差异较大时，我们将摇摆类型的 block 转换为负载较小的类型，以实现单 batch 稀疏矩阵乘法的计算单元负载均衡（如图 ...

本文推荐研究人员针对乳腺癌(BC)二维图像分类精度不足的问题，创新性提出深度稀疏小波自编码器(DSWAE)模型。该研究融合小波网络(WN)、深度学习(DL)与稀疏编码(SC)技术，在BreakHis数据集上实现良性病例94.5%精确率、恶性病例96.2% ...

实现通用的，无需训练的稀疏 Attenion 有哪些挑战？ 挑战 1 通用性：Attention 虽然具备稀疏性质，但是其稀疏形状在不同的模型甚至同一模型的不同层 ...