RL学习小结 (001)： 基本概念、贝尔曼方程学习分享本文系统介绍了强化学习的核心概念，包括状态、动作、策略、奖励和回报等基本术语；随后展示了如何使用马尔可夫决策过程（MDP）对强化学习问题进行数学建模；最后推导了状态值函数和动作值函数的贝尔曼方程。2025-8-31 强化学习
RL学习小结 (003)： 性能差异引理(The Difference in Policy Performance)学习分享新策略 相对于旧策略 的性能提升量，等于"用新策略去采样，然后用旧策略的优势函数去评估"所得到的期望累计折扣优势。 这意味着我们估计新策略性能，只需用旧策略的优势函数，就能评价新策略。 策略改进不需要直接知道新策略有多好，只需要知道旧策略认为哪些动作更好，然后让新策略更常选这些动作。2025-12-19 强化学习
RL学习小结 (004)： Actor-Critic Method学习分享actor-critic （文本主要讨论advantage actor critic, A2C）相较蒙特卡洛（REINFORCE）有2大核心创新 • 通过subtract baseline ，在满足无偏性的前提下降低方差 • 通过bootstrapping的方法来代替纯蒙特卡洛回报降低方差。2026-2-4 强化学习
RL学习小结 (006)：PPO原理剖析学习分享本文从PPO提出的motivation出发，系统介绍了PPO-Penalty和PPO-CLIP两种变体。总体来说，PPO 用更简单的方式近似TRPO的trust region约束，在保证策略更新稳定性的同时，大幅降低计算复杂度。2026-5-13 强化学习
LinearAttention系列解读(一)：Transformers Are RNNs学习分享本文详细介绍了经典的linear attention提出的motivation和算法原理。并对其局限性做了讨论2026-7-23 大模型 linear_transformer
Kimi K3 技术解析学习分享Kimi K3 的主要设计可以归纳为下面几项： 模型架构层面： • backbone 按 3:1 混合 KDA 与 MLA，兼顾长序列成本和周期性全局交互； • Attention Residuals 缩短 features 沿网络深度的访问路径； • Stable LatentMoE 使用 896 个 routed experts，配合 SiTU-GLU、RMSNorm 和 Quantile Balancing 稳定训练； • MoonViT-V2 从头参与 next-token training，图片、视频和文本使用同一 backbone； 训练&infra • context 按 8K、64K、256K、1M 四个阶段扩展； • post-training 在三个 domain、三个 reasoning-effort 档位上训练 9 个 teachers，再通过 MOPD 合并； • KCP、MoonEP、external KV cache、AgentENV 和 hybrid prefix cache 共同支撑训练与 serving。2026-8-3 大模型 多模态
.png?table=block&id=1f63c18f-f81c-808d-8829-cd2c12c40b3e&t=1f63c18f-f81c-808d-8829-cd2c12c40b3e)