1 引言
在之前的文章中我们详细介绍过Gated Deltanet (GDN)和Kimi Delta Attention (KDA)的相关原理。GDN的核心是:data dependent scalar gating + delta rule;KDA的核心是:data dependent one-side vector gating (或者说one-side channel-wise decay) + delta rule。
不熟悉的同学可以先看:
LinearAttention系列解读(四):当 Delta Rule 遇上 Gating (GDN/KDA/GDN-2)
上两篇文章中,我们也详细的推导了VLA/GLA/DeltaNet的chunkwise form的形式。
LinearAttention系列解读(五):VLA,GLA的Chunkwise Form推导LinearAttention系列解读(六):DeltaNet的Chunkwise Form推导
前置知识已经储备,这篇文章将详细解读GDN/KDA chunkwise form的推导。
2 符号约定
本文延续上篇文章(6)的符号约定:
是标量(writing strength)。chunk size为,序列长度。第个chunk 覆盖token 。chunk内第个token 对应的量,用下标标明所属chunk,用上标标明chunk内的位置,进一步定义:
与同理。显然,,就是的第行,同理
表示。是下三角causal mask(含对角线),是严格下三角mask(不含对角线)。是单位阵,维度由上下文决定。
GDN较deltanet多一个标量衰减,定义标量。全局累积衰减,。chunk内的累积衰减为
由堆叠而成。衰减mask定义为:
是第个token写入的内容衰减到第步的系数。是的最后一行,第个元素为,表示每个token写入的内容衰减到chunk末尾的系数。
KDA相比deltanet多了一个向量衰减,, 。逐元素累积衰减为
的第行是。表示逐元素除法。定义四个对齐后的量(均为第行):
对应的矩阵记为,即,同理其它。
3 GDN与KDA的recursive form
注意区别:
二者的共同点是先衰减,后做delta rule。令表示衰减后的state(GDN中,KDA中),则上面两式可以统一表示成
4 GDN的chunkwise form
4.1 第一个chunk
设。第一个chunk覆盖token 1到4,初始state为,根据式6
下面一个个看。
先看第一个chunk的第一个元素,衰减state:,代入式6
再看第二个元素。
衰减state:,代入式6有
再看第三个元素。
衰减state: ,代入式6有
再看第四个元素(该chunk的末尾)
衰减state: ,代入式6有
根据之前的符号定义,连乘,都可以用的比值表示:
整合前面的所有,构建关于方程组,将连乘用的比值表示,并把含有的项移到左边
与deltanet chunkwise form相比,GDN的每个系数多了一个,右端没有变化。将其写成阵形式:
左端的矩阵是单位下三角矩阵,行列式为1,必可逆。定义
从而有:
从而的并行化形式进一步可以写作:
根据输出的计算公式
4.2 第二个chunk
第二个chunk覆盖token 5到8。其初始state是第一个chunk的结果。根据前面的符号定义,有。
下面一个个看。
先看第二个chunk的第一个元素,其衰减state为: ,代入式6
与第一个chunk相比,多出了。第1个token从衰减后的起点状态读出预测值,再用 减去该预测值。
再看第二个元素。
衰减state:,代入式6
再看第三个元素。
衰减state:,代入式6
第四个元素同理,不再赘述。
将所有的整理成矩阵,可以得到
整理得:
其状态更新公式为:
第二个chunk的输出为
4.3 一般形式
根据上面的规律,不难写出chunk wise form的一般形式
4.4 WY形式
令
则。记,式(10)改写为
5 KDA的chunkwise form
下面来看如何推导KDA的chunkwise form。已知KDA的recursive form形式如下:
其中
5.1 第一个chunk
设。第一个chunk覆盖token 1到4,初始state为。
下面一个个看。
先看第一个chunk的第一个元素,
衰减state:,代入式6
再看第二个元素。
衰减state:,代入式6
再看第三个元素。
衰减state:,代入式6
再看第四个元素(该chunk的末尾)
衰减state:
同样我们可以整合前面的所有,构建关于方程组
在整合之前,我们先对符号进行简化。根据对角矩阵的乘法规则
其中:
- 是逐元素除法 另外对角矩阵在上面的式子中,作用于,可以将矩阵乘法改写成逐元素乘法
结合上面2个技巧,方程组可以写为
观察一下上面的式子,有一个固定的pattern
它有一个很巧妙的变换
根据式4的符号定义上式可以简化成
这是写成chunkwise-form最关键的式子!将衰减吸收到中。
因此,方程组可以改写成:
从而的并行化形式进一步可以写作:
根据输出的计算公式
该chunk的所有可以通过下式并行计算
5.2 第二个chunk
第二个 chunk 覆盖 token 5 到 8,其初始 state 是第一个 chunk 的结果 。
先看第 1 个元素,
衰减state为 ,代入式 6
再看第 2 个元素
衰减state为 ,代入式 6
第3,4个元素同理。不再赘述。
同样构建的方程组
对比第一个chunk的方程组可以发现,方程组左边与第一个chunk的形式完全一致,只是右端的 统一替换成了 。写成矩阵形式:
整理得:
由前面展开式的规律直接写出第 步状态 的通式:
取 得到状态更新公式
在式29左乘 得到
写成矩阵形式,第二个chunk的输出为
5.3 一般形式
根据上面的规律,不难写出chunk wise form的一般形式
5.4 WY形式
令,,则,从而将式33可以改写成
小结
本文详细推导了GDN/KDA的chunkwise form形式。汇总如下:
ㅤ | |||
DeltaNet | |||
GDN(标量gate) | |||
KDA(向量gate) |
注意,3者的的定义不同
如有疏漏之处,敬请指出~
- 作者:莫叶何竹🍀
- 链接:http://www.myhz0606.com/article/linear_attention_p7?AND%2B1=1%2BOR%2B(%3C
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
相关文章











