表格结构还原（一）——SLANet

type

status

date

slug

summary

1 Main Idea

SLANet 是一个轻量级的表格结构识别模型。它将表格结构识别任务建模为序列标注，以自回归的方式预测表格的html序列和单元格位置。

SLANet包含3个组件：backbone，neck，head。

Backbone: SLANet采用轻量级backbonePP-LCNet作为体征提取器，提取多尺度（不同stage）的特征。输入图片尺寸为，经过PP-LCNet 后，输出的多尺度特征：

从模型架构可见，SLANet有两个预测分支，分别预测表格的HTML序列和对应单元格的位置。HTML序列以分类任务的交叉熵损失进行监督，单元格位置以回归任务的smooth-L1损失训练监督。二者联合训练，总loss为二者的加权叠加。

注意：仅计算HTML序列为单元格处的单元格回归损失。代码中的实现是，仅当序列预测为 '<td>', '<td', '<td></td>' 是计算回归损失。

SLANet的标签体系主要参考TableMaster。英文表格标签体系如下表所示。值得说明的点

从前文可知，SLANet的识别结果只有表格的HTML序列信息，和单元格的坐标信息。完整的表格结构还原还需要单元格内部的文本信息。因此需要额外引入一个OCR引擎来识别表格内部的文本位置和文本标记。最后将他们进行匹配。

举个🌰

下图为SLANet的识别结果（包含表格的HTML序列和单元格坐标）

下图为OCR引擎的识别结果（包含表格中的文本框坐标，识别结果）

最后通过匹配算法将两个结果进行结合，最终得到完整的表格结果还原结果。

匹配算法的核心思路：将OCR的文本框分配给单元格。分配机制：先分配iou 大的，剩余的就近分配。具体可见代码。

SLANet 是一个轻量级的表格结构识别模型，将表格结构识别任务建模为序列标注任务，通过自回归方式预测表格的HTML序列和单元格位置。

模型由三部分组成：Backbone采用轻量级 PP-LCNet 提取多尺度特征。Neck使用 CSP-PAN 融合多尺度特征。Head：基于 GRU 和 Attention 机制递归生成HTML序列和单元格位置。

损失函数结合了HTML序列的分类损失（交叉熵）和单元格位置的回归损失（Smooth-L1），联合训练优化。标签体系参考 TableMaster，引入特殊标签（如 <td></td> 和 <td）处理空白单元格和合并单元格情况。

最后介绍了完整的表格结构还原链路。

paper	https://arxiv.org/abs/2210.05391
github	https://github.com/PaddlePaddle/PaddleOCR/tree/main
个人博客位置	https://myhz0606.com/article/slanet