Codesign真是妙不可言啊 Dynamic sparse attention的主要问题就是如果用flashattention style的kernel写法，那么对于每个query block，需要load每个token激活的key/value block的并集，在最坏条件下是会degrade到full attention的。

最近数码圈可热闹了，三星S24 Ultra这波降价操作，直接把安卓机皇的性价比拉满！从9699元降至6929元，12GB+256GB的超大内存组合，吸引力直接拉满！如果你是数码爱好者，肯定想第一时间入手，但如何在朋友圈晒出这款新机的独特魅力呢？别担心 ...

过去一年，3D 生成技术迎来爆发式增长。在大场景生成领域，涌现出一批 “静态大场景生成” 工作，如 SemCity [1]、PDD [2]、XCube [3] 等。这些研究推动了 AI 利用扩散模型的强大学习能力来解构和创造物理世界的趋势。

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@ ...