LinearAttention系列解读(一)：Transformers Are RNNs学习分享本文详细介绍了经典的linear attention提出的motivation和算法原理。并对其局限性做了讨论2026-7-23 大模型 linear_transformer
LinearAttention系列解读(二)：DeltaNet技术剖析学习分享本文相对系统讨论了linear attention中的deltanet变体。本文着重介绍了该方法的核心motivation和insight:将固定state看成一个从key到value的fast-weight model，并根据prediction error对已有映射做增量修正。2026-8-11 大模型 linear_transformer
LinearAttention系列解读(三)：线性注意力中的Gating机制学习分享本文从输入依赖性和门控粒度两个维度，梳理了linear attention中的forgetting gate。Data-independent decay提供固定的时间衰减；data-dependent gate则根据当前输入动态管理记忆，并进一步发展出 scalar、one-sided vector、two-sided separable matrix和full matrix等不同参数化。 这些设计本质上都是表达能力与计算效率之间trade-off：更细粒度的gate能提供更灵活的状态控制，但也会带来更多参数、更复杂的数值问题和更高的硬件实现成本。2026-8-20 linear_transformer 大模型
LinearAttention系列解读(四)：当 Delta Rule 遇上 Gating （GDN/KDA/GDN-2）学习分享本文从linear attention的delta-rule和gating机制出发，引出目前linear attention的最新进展GDN，KDA，GDN-2。并进一步探讨其在当下LLM架构中的应用2026-9-3 linear_transformer 大模型
LinearAttention系列解读(五)：VLA,GLA的Chunkwise Form推导学习分享前四篇我们讨论了Vanilla Linear Attention (VLA)、DeltaNet、Gating，以及把它们组合起来的Gated DeltaNet (GDN)和Kimi Delta Attention (KDA)。它们都可以写成固定大小state的递归形式，推理时每步只需$\mathcal{O}(d_kd_v)$的计算与存储。 但训练时直接按token递推是串行的，无法充分利用GPU。 另一个极端是写成并行形式，如VLA的$(QK^\top\odot M)V$，它是矩阵乘法，但复杂度为$\mathcal{O}(L^2)$。 Chunkwise form是二者的折中：把序列切成长度为$C$的chunk，chunk之间用递推传递state（串行$L/C$步），chunk内部用矩阵乘法并行计算。$C=1$时退化为逐token递推，$C=L$时退化为完全并行形式。 文本将详细解读如何将vanilla linear attention与gated linear attention写成chunkwise form。2026-11-1 linear_transformer 大模型
LinearAttention系列解读(六)：DeltaNet的Chunkwise Form推导学习分享本文相对系统推导了DeltaNet的Chunkwise并行形式。与VLA和GLA不同，DeltaNet的状态转移矩阵 依赖于具体的，导致不同步的token之间产生耦合，无法简单地将衰减项放入causal mask中。 为了解决这一问题，我们从增量的视角出发，Chunk内部的增量本质上构成了一个的下三角线性方程组，通过求解该方程组，构造，并行计算矩阵。 进一步将推导的chunkwise-form与WY representation进行联系起来。得到最终的chunkwise-form形式。2026-11-6 大模型 linear_transformer
