Step by Step： Understanding Flash-Attention学习分享Transformers核心组件self-attention的空间复杂度为$\mathcal{O}(T^2)$ ,$T$为序列长度。从显存层面限制了模型长上下文upper bound。对于标准的self-attention计算而言，需要频繁进行HBM(high bandwidth memory, HBM)和SRAM的内存读写，存在IO瓶颈。 FlashAttention的核心创新点是通过online-softmax和tiling技巧来将self-attention的空间复杂度降至$\mathcal{O}(T)$，减少HBM与SRAM的IO通信。2025-9-28 大模型
大模型MoE架构技术小结学习分享本文从 FFN 的 KV-Memory 视角出发，逐步推导出 MoE（Mixture of Experts）结构的动机与演化过程，并介绍了MOE架构训练过程Routing Collapse现象及解决方案。2025-11-12 大模型
Step by Step: Understanding ROPE学习分享ROPE是目前不论LLM还是VLLM常用的位置编码。本文将step by step梳理个人对ROPE的理解2025-12-23 大模型 多模态
RNN并行化——《Were RNNs All We Needed?》论文解读学习分享最近在看并行RNN相关的paper，发现很多都利用了Parallel Scanning算法。本文将从Parallel Scanning算法开始，介绍Bengio团队不久前发表的《Were RNNs All We Needed?》2024-11-21 大模型
LinearAttention系列解读(一)：Transformers Are RNNs学习分享本文详细介绍了经典的linear attention提出的motivation和算法原理。并对其局限性做了讨论2026-7-23 大模型 linear_transformer
LinearAttention系列解读(二)：DeltaNet技术剖析学习分享本文相对系统讨论了linear attention中的deltanet变体。本文着重介绍了该方法的核心motivation和insight:将固定state看成一个从key到value的fast-weight model，并根据prediction error对已有映射做增量修正。2026-8-11 大模型 linear_transformer
LinearAttention系列解读(三)：线性注意力中的Gating机制学习分享本文从输入依赖性和门控粒度两个维度，梳理了linear attention中的forgetting gate。Data-independent decay提供固定的时间衰减；data-dependent gate则根据当前输入动态管理记忆，并进一步发展出 scalar、one-sided vector、two-sided separable matrix和full matrix等不同参数化。 这些设计本质上都是表达能力与计算效率之间trade-off：更细粒度的gate能提供更灵活的状态控制，但也会带来更多参数、更复杂的数值问题和更高的硬件实现成本。2026-8-20 linear_transformer 大模型
LinearAttention系列解读(四)：当 Delta Rule 遇上 Gating （GDN/KDA/GDN-2）学习分享本文从linear attention的delta-rule和gating机制出发，引出目前linear attention的最新进展GDN，KDA，GDN-2。并进一步探讨其在当下LLM架构中的应用2026-9-3 linear_transformer 大模型
Jev 系列解读(一)：深入Laya的模型结构与 RLCD训练学习分享本文结合公开源码，介绍了Laya。它将问题、候选项与输入状态组织成统一序列，通过双向编码器联合建模，并在每个候选项对应的 [MASK] 位置提取表示，使用共享打分器生成候选概率。候选集合由请求中的文本定义，因此模型能够用同一套结构处理不同标签集合，以及 Choice、Score、Noul 三类决策任务。 在训练方面，Laya 的公开微调实现将软标签交叉熵与策略梯度损失结合：前者直接学习目标概率分布，后者在当前 logits 周围采样扰动，根据候选分布的相对奖励形成更新信号。训练完成后，再固定模型参数，在预留校准集上按问题类型拟合温度，调整输出概率的集中程度。2026-10-12 Jev
Jev 系列解读(2): 如何将LLM转为策略模型学习分享本文介绍了将LLM转为策略模型的3种常用思路：1）基于原生LLM；2）给LLM新增一个决策head；3）基于相似度打分的思路。2026-10-16 Jev 大模型
🔀Ross随机过程笔记（一）: 概率论引论学习分享1 样本空间的定义，事件的定义。 2 事件的交、并。不可能事件、独立事件、事件互补相容的条件。 3 事件的八大运算规则：交换率、结合率、分配率、同一律、互补率、吸收率、双反率、对偶率。 4 事件上概率的定义、古典概型的定义、对立事件的概率。独立事件的概率。 5 容斥恒等式、布尔不等式. 6 全概公式，贝叶斯公式2024-3-31 随机过程
.png?table=block&id=1f63c18f-f81c-808d-8829-cd2c12c40b3e&t=1f63c18f-f81c-808d-8829-cd2c12c40b3e)