莫叶何竹🍀 http://www.myhz0606.com/ 这是一个由NotionNext生成的站点 Sun, 14 Jun 2026 13:18:33 GMT https://validator.w3.org/feed/docs/rss2.html https://github.com/jpmonette/feed zh-CN All rights reserved 2026, 莫叶何竹🍀 <![CDATA[Step by Step: Understanding ROPE]]> http://www.myhz0606.com/article/rope http://www.myhz0606.com/article/rope Tue, 23 Dec 2025 00:00:00 GMT
paper: https://arxiv.org/abs/2104.09864
ROPE是目前不论LLM还是VLLM常用的位置编码。本文将step by step梳理个人对ROPE的理解，如有不当之处，敬请指出。
Attention计算如下，假定当前序列长度为
对于Attention而言，其score的计算依赖各个位置query，key向量的点积。不妨考虑query的和key的位置的向量，记作
原始 不包含任何位置信息，因此需要引入位置相关的映射，使点积结果依赖于相对位置 。
具体来说：
我们期望找到一个映射
其输入为:1) 当前位置的向量,2) 位置信息。其输出为添加了位置信息的向量，向量经过这个映射后，点乘能够满足：
如何设计这个映射，使得向量的点积结果依赖相对位置？ 加法倒是容易，可以引入指数函数
通过上面的运算，我们能够实现：添加了绝对位置的向量相乘后具有累积位置的信息。这里离目标已经很近了。
核心诉求：如何让上式的变为
这里我们不禁想到一个结论：两个复向量的点乘会引入共轭，这个共轭能带来我们想要的负号。
在量子力学、信号处理等领域中，为了保证两个复向量的点乘结果是实数，复向量点乘的定义如下：
，是的共轭复数。 PS： 其共轭复数
回到上式，我们引入复数将绝对位置信息乘到复数的幅角中，此时,根据上面的复向量的运算规则：
上面的式子已经实现绝对位置编码引入相对位置信息。这里离ROPE最终的形式已经很近了。
对上式进一步改进，已知不妨将视作个复向量，此时上式可写为：
上式已经是ROPE的最终形式，之所以叫ROPE，是因为根据复数的乘法几何意义
对每一个元素可以理解对进行旋转。
回顾一下复数的几种表示方法
因此
上式的形式做的逐元素乘法，对于可以把结果都拼接起来
同理可得
 
检查一下
可见，两个引入绝对位置编码的向量，点积后包含相对位置信息。
注意，上面的形式需要的通道数能够被整除
 
one more thing
上述的推导，我们人为将 以自上而下的顺序，间隔步长为2，group成组的向量，将其视为复数的向量形式，并分配旋转矩阵(即)。我们当然可以更改这个group的规则，目前实践中用的比较多的是将的向量group在一起，这样代码实现和效率上有一定的优势，此时
是逐元素乘法，同时更改通道的顺序，
点乘后的计算等价
通常源码中都用以上实现方式。
 
ROPE的二维形式
目标变为，找到一个使得
如果直接类比1D的ROPE构造：
他只能建立，不是我们想要的。
通过前文我们找到一个map 使得
核心思路，一半通道编码的位置，另一半编码位置。本质上在两个正交的子空间上分别做1D ROPE。
注意，上面的形式需要的通道数能够被整除
当然ROPE还有很多变体，如3D-ROPE，partial ROPE等。理解了本质，再类比理解就容易了。
]]> <![CDATA[实例分割新范式：Falcon Perception技术剖析]]> http://www.myhz0606.com/article/falcon_perception http://www.myhz0606.com/article/falcon_perception Fri, 29 May 2026 16:00:00 GMT
type
Post
status
Published
date
May 30, 2026
slug
falcon_perception
summary
这篇文章讨论的是一个很有意思的问题：dense perception任务是否一定需要encoder-decoder结构？ 目前开放词汇检测、promptable segmentation、OCR这类任务，常见做法大概是： • 先用一个vision backbone提取图像features • 单独的 decoder 或 late-fusion module 将这些 features 转换为任务输出 虽然上面的范式在业内已经验证了有效性，但它的问题也很明显。模块越多，视觉语言的交互较晚，并且系统的复杂度也会更高。 针对dense perception的任务特点，作者提出以下关键设计：1)Unified Dense Transformer with Hybrid Attention Mask; 2)Chain-of-Perception; 3)Specialized heads
tags
多模态
图像分割
category
学习分享
icon
password
ㅤ
info
paper
https://arxiv.org/abs/2603.27365
code
https://github.com/tiiuae/Falcon-Perception
org
TII Falcon Vision Team
model
https://huggingface.co/tiiuae/Falcon-Perception
benchmark
https://huggingface.co/datasets/tiiuae/PBench

1 Motivation

notion image
这篇文章讨论的是一个很有意思的问题：dense perception任务是否一定需要encoder-decoder结构？
目前开放词汇检测、promptable segmentation、OCR这类任务，常见做法大概是：
  • 先用一个vision backbone提取图像features
  • 单独的 decoder 或 late-fusion module 将这些 features 转换为任务输出
虽然上面的范式在业内已经验证了有效性，但它的问题也很明显。模块越多，视觉语言的交互较晚，并且系统的复杂度也会更高。
针对dense perception的任务特点，作者提出以下关键设计：1)Unified Dense Transformer with Hybrid Attention Mask; 2)Chain-of-Perception; 3)Specialized heads
下面具体来看。

2 Method

2.1 问题定义（Chain-of-Perception）

对于dense perception的任务而言，一张图片的实例可能在0到几百不等，如何设计输出接口即支持variable-length instances又不会让decoding的代价过高是关键。
Falcon-Perception采用自回归的架构做variable-length instances的生成。如果直接把bbox、polygon或者mask都离散成普通token，每个实例都会带来很长的输出序列，实例一多decoding代价就会迅速上升。为了规避这个问题，Falcon-Perception设计了一种Chain-of-Perception的生成方法。
具体来说：假定自回归模型输入的prefix如：
其输出的序列
从上面不难看出，在segmentation路径下，每一个实例都由：<coord> <size> <seg> 3个触发token构成。
  • <coord> 代表实例的中心点坐标
  • <size>代表实例的宽高
  • <seg>代表实例mask query的生成位置
通过这个方法，模型没有把真实mask逐点写进文本序列，而是把一个实例的输出接口压缩为几个结构化token；连续坐标和高分辨率mask再交给specialized heads解码。并且<coord> -> <size> -> <seg>这个生成顺序要求模型先解决spatial ambiguity，再解决pixel-level details，是一个coarse-to-fine的curriculum过程，训练相对稳定。
从 <coord> <size> <seg> 解码出实例真实的mask需要额外的special head，在后面的章节详细介绍。

2.2 模型架构

模型架构上，作者放弃了额外引入encoder，而是类似Fuyu8B的做法，直接将图片patch化与文本拼接后，送入到单一的transformer中。这里有几点设计细节需要注意：

2.2.1 输入准备

以一个具体的例子理解
<|image|>Segment these expressions in the image:<|start_of_query|>all objects<|REF_SEG|>
<|image|>是图片token的占位符。
给定输入图片，先patch化，再经过linear层后，放到占位处，与文本token进行拼接 $$ X=[\underbrace{v_{1},\ldots,v_{N}}{\mathrm{Visual~Embeddings}},\underbrace{t{1},\ldots,t_{L}}_{\mathrm{Text~Embeddings}}] $$
注1: 对于常规的多模态模型会将visual embedding部分送入到encoder，将encoder的输出与text embedding进行拼接，falcon perception省略了这个过程。
注2: 图片token之间会被表征图片起始、终止的token包裹。并沿用了Dino-v2的register token，以提升patch token聚合信息的质量。

2.2.2 hybrid attention mask

falcon-perception的hybrid attention mask可以理解为一种image-prefix bidirectional attention + 后续causal attention。具体而言：
图片token之间设置为bidirectional attention，文本和task位置为causal attention；文本/task token可以看到完整的image prefix
notion image

2.2.3 3D RoPE

falcon-perception的3D-RoPE与Qwen系列的MRoPE实现不同。它将q，k的通道进行对半切分，一半用于编码空间位置信息的2D-RoPE，另一半用于序列/时序信息的1D-RoPE编码。这里有几个小细节：
  1. 时序维度，image block内部基本共享同一个temporal ID，后续文本token再继续递增。
  1. 空间维度，只有真实image patch会被赋予2D空间坐标；文本和其它非空间token的2D位置为0。

2.3 Special Head

在2.1，2.2节中，我们已经理解了falcon-perception如何定义dense-perception问题，以及它如何把图像patch、文本prompt和任务token放进同一个Transformer。本小节补上最后一块拼图：模型预测出的special token <coord> <size> <seg>，到底如何转化成bbox和mask。
这里有一个关键点：LM head只负责预测“下一个token是什么”。但<coord>、<size>和<seg>并不是普通文本内容，它们更像是调用不同head的触发器。
代码中对应的模块集中在：

2.3.1 Coord / Size Head

很多自回归视觉模型会把坐标当成普通token集成到词表中。比如定义一组0到999的token表示坐标：
这样就可以把检测、分割问题转化为token预测问题，再通过后处理解析坐标。
上述方案实现简单，也在很多模型上得到了验证，例如检测领域的Pix2Seq，以及一些OCR/文档解析模型中的location token设计（如MinerU）。但它有几个明显弊端：
  1. 坐标token的embedding相对离散，坐标的空间位置关系只能被隐式学习。
  1. 坐标精度受bin数量限制，bin太少会粗糙，bin太多又会增加词表或序列建模难度。
  1. 如果把mask边界也转成token序列，dense output会非常长，不适合高实例数场景。
Falcon Perception采用的是另一种折中方案：序列里仍然只生成<coord>和<size>这两个special token，但真实的连续坐标由额外的bbox head预测。
模型初始化时可以看到四个相关模块：代码位置：https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/model.py#L317
这四个模块分成两组：
  • encoder：把已经得到的连续坐标/尺寸编码回Transformer输入流中。
  • decoder：从Transformer hidden state中预测连续坐标/尺寸。

Fourier Encoder：把连续值注入token embedding

训练时，target序列里有<coord>和<size>位置，但模型不能只看到一个静态special token embedding。否则后续的<size>和<seg>并不知道前一步真实预测/标注的中心点在哪里。换句话说，常规的做法<coord>对应的是这个token得embedding，但无法提现示例的信息，因此需要用真实的坐标信息的embedding来对它进行替换。也就是说，<coord>可以视作是一个placeholder。
那么，如何构建这个坐标信息的embedding呢？
坐标信息的编码：
Falcon Perception采用Fourier feature mapping的方式构建坐标的embedding （Nerf中的做法），核心思路是用连续空间的频率模式来表示坐标。
  • x为坐标信息
  • B为随机频率矩阵
这个思路将坐标学习转化为了频率模式匹配问题。
代码中对应 https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/model.py#L34：
坐标信息解码：
推理时，模型先通过LM head采样下一个token：
如果采样出的token是<coord>或<size>，则调用：
内部会将当前hidden state送入两个MLP decoder：
https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/model.py#L705
坐标x, y按归一化bin预测。尺寸h, w则不是线性bin，而是经过process_sizes映射到log2尺度：
这样做比较合理，因为目标尺寸天然是跨尺度分布的：小目标之间的差异需要更细粒度，大目标则更关注相对比例。
得到xy或hw后，它们会在下一步forward时重新编码回输入序列：
完整链路：
Step1: LM head预测 <coord>
Step2: 将hidden state输入到coord decoder中，输出中心点
Step3: Fourier encoder将中心点编码为embedding，写入下一步输入
Step4: LM head预测 <size>
Step5: 将hidden state输入到size decoder中，输出宽高
Step6: Fourier encoder将宽高编码为embedding，写入下一步输入
Step7: LM head预测 <seg>

2.3.2 Segmentation Head

<seg>也可以理解为placeholder。需要引入额外的head提取真实的mask。只用单个token的hidden state来生成high-resolution的mask是比较难的。Falcon Perception采用了一种dot product的方式来生成mask。
具体来说，在prefill阶段，将image patch token位置的所有hidden state与原图送入到一个模型中，获得一个feature map V* ∈ R^{H×W×d} （AnyUP这篇paper的做法）。代码位置：https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/batch_inference.py#L248
生成阶段中，若当前生成的token为<seg>, 随后对其hidden state进行linear transform后与上述feature map做点乘，从而得到mask，代码位置：https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/aux_output.py#L210
相比Mask2Former需要用复杂的 Hungarian matching 来解决 instance ambiguity问题。Falcon Perception设计的<coord><size><seg>链路的指代是清晰的。

2.4 如何训练

2.4.1 训练目标概览

理解完上面的结构后，训练逻辑其实就比较自然了：Falcon Perception不是把dense perception完全变成普通语言建模，而是采用“自回归token + speaial head解码”的混合建模。
换句话说，Transformer主干按next-token prediction训练；但当序列走到<coord>、<size>、<seg>这些位置时，模型还会额外接收对应的坐标、尺寸和mask监督。
目标函数有下面几部分构成
其中：
  • ：普通token的cross entropy，包括文本token和<coord>、<size>、<seg>`这些special token的生成。
  • ：坐标head的cross entropy。代码中coord_decoder输出2 x Nbins个logits，默认每个维度2048个bin。
  • ：尺寸head的cross entropy。注意：尺寸不是线性空间，而是log2尺度上的bin
  • ：mask监督，使用focal loss + dice loss。
  • ：主要包括蒸馏/特征对齐相关loss，比如Gram feature alignment。
可见，坐标和尺寸虽然最终是连续值，但训练时仍然转成bin分类问题；mask则没有被转成token序列，而是用像素级loss直接监督。这个设计避免了把高维dense output硬塞进语言序列。

2.4.2 更多的训练细节

（一）multi-teacher distillation
teacher模型有2个：DINOv3-ViT-H和SigLIP2-So400m
为了训练好early-fusion perception models，作者使用 multi-teacher distillation pipeline 初始化模型权重。其动机是利用不同 vision backbones 的优势。
论文对这一步没有公布太多的细节。有几点是明确的：
  • 这个蒸馏不是简单的logits蒸馏。
  • 蒸馏的核心目的之一是为了让模型能够继承DINOv3-ViT-H强大的提取local feature的能力，这对segmentation很重要。
  • 目的之二期望继承SigLIP-So400m图文embedding对齐的特性，便于 open-vocabulary expression understanding。
  • 蒸馏的数据： OpenLVD200m , 900 万 high-resolution scraped images,1100 万 SAM dataset images, 500 万 documents。
  • 训练流程：
    • multi-resolution stage，最高到 1024×1024 pixels，约 200k steps
    • Muon为优化器
    • 4*8-A100 GPU nodes，采用sequence packing
    • local batch size 为 6，最大 sequence length 为 4096 tokens
（二）优化器的选择
Falcon Perception对Muon和AdamW这两个优化器做了消融实验。在perception这个场景下，Moun优化器有明显的优势
notion image
（三）masking order
当有多个实例时，该如何设计target sequence的顺序呢？（本质上就是：一个包含多实例的图片，有多条合理的轨迹）。作者比较了random、按照size从大到小、按照raster order（自上而下、自左到右）。作者发现raster order的方式效果更好（直觉上这个方法先验的约束了轨迹，限制了模型需要拟合的轨迹空间）。
notion image
更多的细节请参考原论文。

3 结果

结果部分我觉得主要看三个点。
第一，Falcon Perception在SA-Co上mask quality比较强，Macro-F1达到68.0，高于SAM3的62.3，但 presence calibration 明显弱于 SAM3，例如 Average MCC 是 0.64 vs 0.82。
第二，在PBench(论文提出的benchmark)上优势明显。PBench更强调attribute、OCR、spatial relation和dense场景，这些任务都需要更强的视觉-语言-空间联合建模。论文中Falcon Perception平均57.0，SAM3为44.4；Dense场景下是72.6 vs 58.4。
第三，sampling对结果提升很大（类似语言模型中do-sample的做法，同个数据多跑几次，非贪心采样）。SA-Co上cgF1可以从baseline的34.7提升到Pass@8的54.3。这说明模型分布里其实包含不少正确答案，只是greedy decoding未必总能选中。
notion image
notion image
作者额外研究了将Falcon-Perception架构应用到OCR领域中，提出了Falcon-OCR-0.3B。笔者实测下来，效果还有提升空间，可能是训练的数据规模不够大。

4 小结

本文系统梳理了Falcon-Perception的技术原理。整体上，论文中的工作量是非常扎实的，不论从代码上、数据上还是实验上，值得一读。
 
]]> <![CDATA[RL学习小结 (006)：PPO原理剖析]]> http://www.myhz0606.com/article/ppo http://www.myhz0606.com/article/ppo Tue, 12 May 2026 16:00:00 GMT
前置阅读：http://myhz0606.com/article/trpo

1 前言

回顾一下TRPO的链路：传统的策略梯度，由于目标函数的非凸性，无法很好的确定更新的步长。TRPO的核心目标是：沿着性能提升的方向，走最大的一步。为此TRPO算法先从性能提升引理出发，结合新旧状态分布近似、importance sampling技巧改写了优化目标：
并证明了改写的优化目标是原始优化目标的下界。
通过优化能保证单调不减。
但实践中，上面优雅的理论式子面临两个问题：
  • 单个iteration只有有限条轨迹，难以遍历所有的状态找到。
  • 惩罚因子过大，使得KL divergence项的梯度过大，模型更新过于保守。
为此TRPO做了2个工程上的优化：
  • 利用拉格朗日对偶性，将惩罚项转为约束。
  • 用average KL而非max。具体而言，我们不要求，而是要求。
由此可得到TRPO的工程化后的优化目标
等同于优化
⚠️注意符号区分：是advantage function，是trust region radius
最后通过对目标函数、约束条件分别进行泰勒一阶近似和二阶近似后，将一个复杂的非线性优化问题转化为一个经典的二次约束线性优化问题，用拉格朗日乘子法求得解析解，最后用共轭梯度法进行求解。由于前面的一些工程trick和近似处理在一定程度上破坏了单调不减的理论保证，于是结合了回溯的linear search操作。
总体而言：TRPO数学理论上非常优雅，它系统的解决了强化学习中策略更新的方向和步长问题。但从上面的简短回顾不难看出，TRPO算法的工程实现还是偏于繁杂：每一次策略更新都需进行CG算法得到更新方向，再用linear search确定更新步长。
这就是PPO提出核心的motivation：在尽可能的满足策略性能单调不减下，解决TRPO计算复杂度过高的问题。

2 PPO算法

作者给出了PPO-Penalty和PPO-CLIP两种变体。

2.1 PPO-Penalty

从TRPO的推导我们得出通过优化下式能保证新的策略性能单调不减
PPO沿用了TRPO用averge KL来代替max KL得工程trick,但没有沿用拉格朗日对偶性将惩罚转为约束。作者是引入了一个超参数来取代的惩罚系数。
由此，可得PPO-Penalty的目标函数
超参数的定义是个难题，作者采取了一种动态修正的策略，首先令
  • 若，说明策略更新较为保证，KL散度的期望低于预设值，为了加快学习，可以减少惩罚力度，
  • 若，说明策略变化太剧烈，KL散度的期望超过安全区。为了稳定学习，增大惩罚力度，
  • 当，说明新旧策略的KL散度在安全区，无需调整。

2.2 PPO-clip

PPO-CLIP是PPO算法的另一种变体（也是主流的变体），它采用悲观估计（lower bound optimization）的策略来定义tust-region。其形式为：
分几种情况讨论上述目标函数的直觉意义
notion image
的符号
has gradient?
直觉解释
True
在目标区间内，说明新旧策略表现接近，正常优化。
True
在目标区间内，说明新旧策略表现接近，正常优化。
True
。说明这是一个能带来正向收益的好动作，但新策略居然不愿意接受这个动作（和就策略的比值小于）,因此需要优化新策略。
False
坏动作，新策略接受的概率较大幅度低于旧策略，说明在这个场景下新策略已经优化的足够好，无需再优化了。
False
好动作，新策略接受的概率较大幅度高于旧策略，说明在这个场景下新策略已经优化的足够好，无需再优化了。
True
。说明这是一个负向收益的动作，应当抑制。但新策略确非常倾向接受这个动作(和旧策略的比值大于)，因此需要优化新策略。
虽然相比PPO-Penalty,PPO-CLIP没有严格的理论推导，但在实践中，PPO-CLIP不论从性能还是效果都有优势。
notion image
notion image

小结

本文从PPO提出的motivation出发，系统介绍了PPO-Penalty和PPO-CLIP两种变体。总体来说，PPO 用更简单的方式近似TRPO的trust region约束，在保证策略更新稳定性的同时，大幅降低计算复杂度。由于笔者水平有限，若有不当之处，欢迎指出～
 
]]> <![CDATA[《MinerU2.5-Pro》 技术小结]]> http://www.myhz0606.com/article/mineru2d5_pro http://www.myhz0606.com/article/mineru2d5_pro Tue, 14 Apr 2026 16:00:00 GMT

1. 前言

MinerU最近发布了一个更新的Pro模型。在模型架构不变的约束下，通过优化数据工程与训练策略，实现了显著的精度提升。
论文的核心动机在于：不同架构的SOTA的模型在面临困难样本（hard samples）时，往往呈现出相似的错误模式。这一现象表明，OCR 性能的瓶颈可能并不主要来自模型架构本身，而更可能受限于训练数据的质量与构成。MinerU在OmniDocbench中新增了hard sample，用于更有针对性的评估对于此类复杂场景的模型表现。
模型仓库：https://huggingface.co/opendatalab/MinerU2.5-Pro-2604-1.2B
数据集地址：https://huggingface.co/datasets/opendatalab/OmniDocBench
notion image

2. 数据工程

MinerU的数据工程主要分为4个阶段
  • Diversity-and-Difficulty-Aware Sampling
  • Cross-Model Consistency Verification
  • Judge-and-Refine pipeline
  • Targeted Expert Annotation
notion image

2.1 Diversity-and-Difficulty-Aware Sampling (DDAS)

核心目标：解决训练数据长尾分布的问题。具体而言，通常情况下，数据池的学术论文，单栏报告的占比较大，但嵌套表格，复杂公式排版，多栏排版的占比较低。这导致模型对此类低频的场景识别精度较差。下面看具体的做法。
notion image
stage1 Page-level sampling：
  • 提取所有PDF page的embedding（ViT base），并进行聚类；
  • 对每个cluster进行均匀采样，获得初始的侯选集（保证分布覆盖）；
  • 对初始侯选集的每一个page通过CMCV获得复杂度标签；
  • 用复杂度标签的分布情况赋予cluster采样权重：
    • easy sample占比高→降权
    • difficulty分布多样→提权
    • invalid多（空白页、非目标语言）→ 过滤
  • 根据调整后的cluster权重，从原始数据池进行加权resample，扩展后选集；
  • 并补充计算所有sample的复杂度标签。
stage2 Element-level sampling：
  • 将stage1得到的页面候选集用MinerU2.5和paddleOCR VL进行layout检测，获得math/table/text的block-level的数据；
  • 分别对math/table/text进行聚类；
  • 执行block-level的CMCV获得element的difficulty的标签。
stage3 Sampling： 通过stage1，stage2我们得到layout/table/text/math的数据，每一个数据点包含cluster-difficulty两种粒度的信息，现在对他们在cluster-difficulty的联合空间进行采样。
  • 在diversity维度（解决长尾问题）：
    • 大cluster进行下采样；
    • 小cluster进行上采样；
  • 在difficulty维度（提升训练信号的强度）
    • 提升medium/hard数据的权重
最终获得task-balanced，high diversity，high informativeness的训练数据。

2.2 Cross-Model Consistency Verification （CMCV）

DDAS策略依赖样本的复杂度，那么如何得到这个复杂度呢？这是CMCV回答的问题。
在过去，MinerU2.5的IMIC策略和paddle VL-1.5的UACS策略通过对单模型多次推理的一致性来度量这个复杂度。这个方法存在局限性：
  • 这个复杂度主要反应模型的“盲点”，而非通用的复杂度
对于模型盲点，我们可以通过多模型voting的方法来进行预标注。单对于通用的复杂case，可能所有模型的表现都不好，可能需要额外引入人工的干涉。 为了更好的刻画复杂度，作者引入CMCV的评估策略，核心思想是，通过多模型的预测差异性来度量这个复杂度
  • 若多个模型对同一个case的预测结果相近，说明是easy case。
  • 若多个模型对同一个case的预测结果不相近，分歧越大，说明复杂度越高。
💡作者采用MinerU2.5， PaddleOCR-VL，Qwen3-VL-30B作为解析模型。
公式用CDM，表格用TEDS，文本用edit distance作为结果是否相近的度量
作者划分了3个复杂度
  • Easy： MinerU2.5的结果至少与1个外部模型的结果相近。标注为easy的数据，预测的结果可以直接视作label。
  • Medium：MinerU2.5与外部模型的结果都不相近，外部模型的结果相近。可以将外部模型的标注作为此类case的伪标签。
  • Hard：所有模型的结果都不相近。这类数据的价值非常高，但标注成本高。对此类case的处理方式需要Judge-and-Refine correction和外部专家的标注。

2.3 Judge-and-Refine Annotation Pipeline

这个阶段主要为了解决复杂度为hard数据的自动标注问题，核心思想是render-then-verify。具体做法：
  • 将识别结果渲染成图片；
  • 将原始图片和渲染的图片送入到Qwen3-VL-235B中进行judge and refine；（这样做的动机在于若将图和预测序列送入到模型，会存在跨模态信息的gap，都转为视觉空间有助于模型捕获差异）
  • 重复上述两个过程，直至完成停止条件。 对于Judge-and-Refine也无法修复的case转入到2.4专家标注。

2.4 Targeted Expert Annotation

在经过 DDAS 采样、CMCV 难度分层以及 Judge-and-Refine 修正之后，Easy 和 Medium 样本已经具备可靠标注，但仍有一部分 Hard 样本超出了自动修正能力。针对这些样本，我们引入专家人工标注以保证最终质量。
标注预算的分配基于 Judge-and-Refine 的中间输出结果进行优先级排序：
  • Judge 置信度高但 Refine 修正不确定的样本优先级最高。此类样本的错误位置已由 Judge 定位，标注人员只需进行局部修正，从而最大化标注效率。
  • 优先覆盖当前模型最薄弱的子任务类别。这样可以在有限标注预算下最大化对整体性能的边际提升
人工标注采用“AI 预标注 + 专家审核与修正”的工作流程。在预标注阶段使用 Gemini 3 Pro。此外，还通过自动化质量评估工具进一步保证标注一致性。
最终，该数据引擎产出一个分层数据集：
  • 约65.5M条 Easy 和 Medium 样本，通过 CMCV 自动标注，用于 Stage 1 预训练；
  • 19.2 万条专家标注的 Hard 样本，用于 Stage 2 微调以及 Stage 3 的 GRPO 对齐。

3. 训练策略

采用3阶段渐进式训练范式。模型架构依旧沿用MinerU2.5:
  • encoder: NaViT 675M
  • decoder: Qwen2-0.5B 初始权重迁移MinerU2.5。 具体的训练配置见下表：
有几点需要注意的：
notion image
  • 65.5M训练数据的分布如下表。
  • stage2中多了一个3.9M得数据集。这是从65.5M条数据中采样得到。避免只在少量样本微调导致灾难性遗忘（catastrophic forgetting）。采样的规则设计中保证了hard sample的占比，一次强化模型在困难场景的表现
  • GRPO的reward设计与评估指标一致。即文本识别的reward为编辑距离；公式识别的reward为CDM；表格为TEDS；layout为IoU。
task
count
text recognition
21M
layout analysis
14M
formula recognition
13M
table recognition
11.5M
Other (chats, etc.)
6M
]]> <![CDATA[RL学习小结 (001)： 基本概念、贝尔曼方程]]> http://www.myhz0606.com/article/RL_001 http://www.myhz0606.com/article/RL_001 Sat, 30 Aug 2025 16:00:00 GMT
参考教材： 1. 《Reinforcement Learning: An Introduction》 2. 《Mathematical Foundations of Reinforcement Learning

1 强化学习基本概念

1.1 术语定义

在强化学习中，可以将学习过程看作智能体（agent）与环境（environment）的交互过程。智能体能够感知环境状态、做出决策、执行动作，从而影响环境并获得奖励。为了更好地描述这一过程，通常定义以下基本概念：
  • 状态（State, S）：表示环境的随机变量。某个具体的状态记为小写 ，其中 是状态空间。
  • 动作（Action, A）：表示智能体可采取的动作的随机变量。具体动作记为，其中是动作空间。
  • 状态转移（State Transition）：当智能体在时刻处于状态 并采取动作后，环境转移到新的状态，记为
  • 策略（Policy, ）：描述智能体的决策规则，是一个条件概率分布, 它表示在状态下选择动作的概率：
  • 奖励（Reward, ）：环境在状态下对智能体采取动作所反馈的随机变量。奖励的一个取值记为， 是奖励空间，常写作。
  • 轨迹（Trajectory, τ）：智能体与环境交互所产生的状态-动作-奖励序列，例如：
  • 回报（Return, Gt）：从时刻 t 开始累积的奖励，用于衡量长期收益。
  • 即时奖励（Immediate Reward）：当前时刻的奖励。
  • 未来奖励（Future Reward）：从未来时刻累积的奖励。
  • 折扣回报（Discounted Return）：为了避免无限轨迹回报发散，并调节对近期与远期奖励的重视程度，引入折扣因子：
  • 回合（Episode）：从初始状态到终止状态的完整过程，即一条有限长度的轨迹。
    • Episodic Task（回合式任务）：具有明确起点和终点。
    • Continuing Task（持续性任务）：没有终止状态，交互过程无限持续。

2 马尔可夫决策过程

通常我们会用马尔可夫决策过程(markov decision process （MDP）)来来描述强化学习。MDP是描述随机系统的一般框架。它由以下关键要素组成
  • 集合（Sets）
    • 状态空间集合。所有状态的集合
    • 动作空间集合。与每一个状态关联的动作集合，是随机变量的一个值
  • 奖励空间集合。与每一个关联的所有奖励集合
  • 模型（model）
    • 状态转移概率，
    • 奖励概率，
  • 策略（policy）：在状态下，agent采取动作a的概率
  • 马尔可夫性质(markov property)：下一个状态和奖励仅依赖当前时刻的状态和动作，而与之前的状态和动作无关
马尔可夫过程与马尔可夫决策过程有什么联系？ 当马尔可夫决策过程中的策略确定了，此时的马尔可夫决策过程就退化成了马尔科夫奖励过程，如果奖励也去掉，那么就进一步退化为马尔可夫过程。

3 贝尔曼方程（Bellman Equation）

在强化学习中，马尔可夫决策过程（MDP）是建模智能体与环境交互的核心数学模型，而贝尔曼方程（Bellman Equation）是求解 MDP 的关键工具。 强化学习的核心目标通过智能体(agent)与环境（environment）的交互来学习一个最优的策略（policy）使得累积回报（return）最大化。 实际中，由于状态转移的随机性，从一个状态出发，存在多条轨迹，每条轨迹的回报不同，因此通常我们的优化目标是最大化期望回报。

3.1 状态值函数与贝尔曼方程

定义在策略下，从状态 状态值函数 开始的期望累积回报为状态值函数（state-value function）,也简称为状态值（state value）。
⚠️式子中的是随机变量，是随机变量的值。
最优策略可以定义为使状态值函数最大的策略
折扣回报（Discounted Return）定义为：
  • 是即时奖励 immediate reward
  • 未来奖励 future reward
利用折扣回报定义，状态值函数可以拆分为即时奖励和未来回报的期望：
先看第一项即时奖励期望
在看第二项未来回报的期望
将结果带入原式中，我们得到值函数形式如下，此时的值函数方程也称为贝尔曼方程。
贝尔曼方程描述了不同状态值之间的关系。式中代表系统模型。通过联立所有状态值我们可以求解出贝尔曼方程所有状态的值。

3.2 贝尔曼方程的联合概率形式

已知
代入初始的贝尔曼方程中

3.3贝尔曼方程的向量形式

前面提到，对于每一个状态,我们都可以写一个值函数（贝尔曼方程），假定状态数为，则有联立形式：
为了方便以向量化定义
此时的贝尔曼方程可以写做
对于每一个状态 的联立形式
用矩阵的形式表达，上面的联立形式可以写做
即
根据上面贝尔曼方程的向量形式（本质上是一个线性方程组），我们有2种方法可以对其进行求解

3.3.1 向量形式贝尔曼方程的求解

3.3.1.1 解析解
上面的解析解有几个性质
  • 可逆。（根据Gershgorin circle theorem可以证明满足,本文不做深究）
  • . （因为, ,根据矩阵逆的级数展开可以证明）
  • 对于任何向量有, 若有
 
3.3.1.2 数值解
根据下面的迭代式可以迭代求解
随机初始一个,通过上面的迭代式可以求出真实的状态值,即
为什么上面的迭代式能保证能够收敛到真实值，证明：
定义误差,只需证明 将误差代入迭代式中

3.4 动作值函数的贝尔曼方程

动作值函数（Action Value Function, 简称动作值）也是强化学习一个非常重要的概念，其定义为
它表示在状态下采取动作后，沿着策略执行，所能获得的期望回报。

3.4.1 动作值与状态值的关系

状态值函数等于该状态下所有动作值的加权平均，其中权重是策略。

3.4.2 动作值的贝尔曼方程

根据式(8)和式（18），可以写出动作值的贝尔曼方程

小结

本文系统介绍了强化学习的核心概念，包括状态、动作、策略、奖励和回报等基本术语；随后展示了如何使用马尔可夫决策过程（MDP）对强化学习问题进行数学建模；最后推导了状态值函数和动作值函数的贝尔曼方程。
如有理解不当、笔误之处，敬请指出。非常感谢～
]]> <![CDATA[RL学习小结 (005)： TRPO理论剖析]]> http://www.myhz0606.com/article/trpo http://www.myhz0606.com/article/trpo Thu, 19 Mar 2026 16:00:00 GMT

背景

根据策略梯度算法
我们可以通过梯度上升的方法来更新策略：
在实践中，由于目标函数的非凸性， (步长，or learning rate)的选择是个难题
  • 如果很小，虽然能满足一阶近似，但训练效率很低
  • 如果很大，由于目标函数的非凸性，无法保证更新的策略比旧策略好。若更新的策略变差，还会导致下一轮采样的数据变差，陷入恶性循环。
由此引出TRPO的motivation：如何保证训练效率下，让更新的策略比旧策略好。

TRPO 算法

根据性能差异引理可知
新策略相对旧策略的提升满足下面的式子 (是对应的new policy，是对应的old policy)
新策略 相对于旧策略 的性能提升量，等于"用新策略去采样，然后用旧策略的优势函数去评估"所得到的期望累计折扣优势。
然而这个式子有个“坑”，在更新参数前新策略是未知的，因此无法从来采样数据。
有一个naive的思路解决这个问题（rollback）
流程：
  1. 先根据policy gradient更新
  1. 基于在环境中采样，根据式(3)计算性能提升量
  1. 若没有提升则拒绝这次更新（rollback）
这样做主要有一个非常明显的弊端：采样成本很高。以自回归模型为例，用已有轨迹只是一个prefill过程，并行度非常高，而采样需要的是token-level的串型生成的过程。
为了解决这个问题，TRPO引入了两个trick
TRPO的核心假设：如果新旧策略变化不大，不妨假设那么他们的状态分布也差不多,即
的定义：
带回式(3),并引入importance sampling技巧，将近似的记作
  • 式中的称为importance ratio
通过以上处理，可以只需用旧的策略去采样数据，就能评估新策略的性能提升。
但在上面的推导中，我们使用来近似，和真实的存在误差，直觉上，和差异越大，误差越大。下面来分析二者的误差
根据advantage function的定义，可以证明：,即,带入上式
令
为了继续推导，需要引入总变差散度（Total Variation Divergence， TV散度）。对于两个离散概率分布，，TV散度的定义为：
因此可以将上式改写为：
根据状态分布差异引理（State Distribution Difference Lemma），可知
带回上式
在机器学习中TV散度因为涉及绝对值，求导不便，根据Pinsker不等式，有
记，带回上式
⚠️注意上面的推导结果相比原论文大了两倍，因为原论文所用不等式为,而本文用的是更精确的形式：
最后，展开绝对值
可以得到真实性能的下界
这意味着，这意味着我们可以将目标函数设置为最大化右边的式子，从而保证单调不减。
写成参数优化的形式，令
理论上的参数优化目标为：
  • : old policy的参数
  • new policy的参数
  • ，惩罚因子
上面的理论看似来似乎很完美，但实际落地是不可行的。
首先，在训练中，单个iteration只有有限条轨迹，难以遍历所有的状态找到。
其次，惩罚因子过大，使得KL divergence项的梯度过大，模型更新过于保守。
因此，上述理论虽然很优美，但无法实际用于工程实现。作者为此引入2个trick
Trick1: 利用拉格朗日对偶性，将惩罚转为约束
既然将KL divengence当作减法惩罚项会导致步长更新太小，不如把它拿出来，将原问题转化为一个约束优化问题
Trick2: Average KL divengence 而非 max
具体而言，原先需要遍历所有的状态才能得到，若状态空间很大，在实践中是得不到的(intractable)。另外这一项对噪声也非常敏感。
为此，采用一个启发式的近似：我们不要求，而是要求，其中
这个替换是工程的妥协，在一定程度上破坏了理论的单调性。作者原话 This problem imposes a constraint that the KL divergence is bounded at every point in the state space. While it is motivated by the theory, this problem is impractical to solve due to the large number of constraints. Instead, we can use a heuristic approximation which considers the average KL divergence
综上讨论得到TRPO的最终优化形式如下：
这个约束条件所封闭的解空间称之为trust region。

TRPO算法的求解

我们没有办法直接通过梯度下降的方式来优化式(19)带有约束的非线性目标。TRPO做了以下处理
首先对优化目标在出进行一阶泰勒展开近似
为了简化符号，记
带回原式
对约束在处进行二阶泰勒展开
  • 是海森矩阵。
意味着KL divergence的两个分布相同，也表明KL divengence达到全局最小值，可以得出
带回上式
此时，优化目标可以改写为
通过上述处理，一个复杂的非线性优化问题转化为一个经典的二次约束线性优化问题。
我们可以根据拉格朗日乘子法求取解析解。
我们构造拉格朗日函数
分别对求偏导，令偏导为0
联立求解得到
式子中的其实就是自然梯度方向(Natural Gradient)，为做了缩放后的自然梯度方向。
最终得到的解析解
直接通过解析解求解在实践中是不可行的。假定(对于模型来说这个很大),那么，显存可能存在瓶颈，更别说还要求逆。在实践中，作者采用CG算法来估计自然梯度
下面来看如何用CG求
我们的目标是求解()
常规的方法会涉及到海森矩阵的计算，代价不可接受。现在对他做一些转化，显然，上式可写做
下面对的转化很关键。为了方便符号记录，我们定义：
因此可写做
而，这大大降低了计算复杂度(这个技巧在sliced score matching中也有用到)，这个trick称之为Hessian-vector product trick。
因此最终需要求解的目标为
求解式34可转化为求解函数的零点，也可转化为求解函数的极小值点。
因此求解式34等价于求解二次函数的极小值问题
可以用CG算法求解这个式子。
为最终的求解结果，即
带回到式39中，可以得到实际的参数更新方向和步长为
因此
式中的决定优化的方向，确定更新的步长，二者共同决定policy的参数优化方向。
最后，由于优化函数的引入了泰勒近似，不一定能满足原来的约束条件。在实际上作者还额外引入了line search的校验机制。具体来说：
  • step0:初始阶段设置步长为最大步长
  • step1: 更具步长更新policy参数
  • step2: 带入到式19原始的约束函数中校验是否满足trust region的约束与性能是否提升。
  • step3: 若满足则接受此次更新，若不满足则降低步长重复step1-2

小结

本文从TRPO提出的motivation出发，step by step系统的推导了TRPO的算法的设计过程及细节。如有不当之处，敬请之处。
 
]]>