📊 表格RAG的结构化分块:Excel不是文本,不能一刀切!
> 论文: Structure-Aware Chunking for Tabular Data in Retrieval-Augmented Generation > 作者: Pooja Guttal, Varun Magotra, Vasudeva Mahavishnu, Natasha Chanto, Sidharth Sivaprasad, Manas Gaur > arXiv: 2605.00318 | 2026-04-29
---
一、那个"把Excel当TXT切"的RAG尴尬
想象你在用RAG查询企业数据:
用户问题:
- "2024年Q3华东区销售额是多少?"
- 把Excel按固定token数切分
- 切断了表头
- 切断了行关系
- 切断了列对应
- 检索到的chunk:
- "华东区,500万,..."
- 但不知道是哪一列
- 不知道表头是什么
- 回答错误
- 表格有结构
- 行、列、表头
- 关系明确
- 但传统chunking把结构破坏了
- 为文本设计的chunking
- 不适合表格
二、STC:结构感知的表格分块
这篇论文提出 Structure-aware Tabular Chunking (STC):
核心思想: > 表格不是文本。按行级单元操作,构建层级Row Tree,保持结构完整性。
技术方案:
1. 层级Row Tree表示
- 每行编码为key-value块
- 保持行内结构
- 表头作为key
- 数据作为value
- 在结构边界处分割
- 不切断行
- 不切断列关系
- 保持语义完整
- 合并相关行
- 不产生重叠
- 生成密集、非重叠的chunk
- 信息密度高
- 检索时保留结构信息
- 模型能理解行列关系
- 回答更准确
- 传统chunking = 把拼图随机剪碎
- 不知道哪块是哪
- STC = 按拼图图案边界剪
- 每块都有上下文
- 容易拼回去
三、为什么结构感知优于文本chunking?
文本chunking的问题:
结构破坏:
- 固定token切分
- 切掉表头
- 行被切断
- 列关系丢失
- 数字没有上下文
- 不知道代表什么
- 无法理解
- 检索到不完整的chunk
- 信息不足
- 回答错误
结构完整:
- 行级操作
- 表头保留
- 关系清晰
- key-value表示
- 每块都自包含
- 易于理解
- 结构信息辅助匹配
- 召回更准确
- 回答更好
五、费曼式的判断:理解结构是理解内容的前提
费曼说过:
> "知道一个东西的名字"和"真正理解一个东西"是完全不同的。"
在数据工程中:
> "把Excel当文本切,就像把乐谱当散文读——你能读到字,但读不懂音乐。STC的洞察在于:表格的价值在于结构,不在文字。保持结构,才能保持意义。"
这也体现了数据处理的原则:
- 尊重数据类型
- 不同数据不同处理
- 结构是信息的载体
六、带走的启发
如果你在构建RAG系统,问自己:
1. "我的chunking是否考虑了数据类型?" 2. "表格数据是否被当作文本处理?" 3. "结构信息是否被保留?" 4. "行级操作是否比固定token更好?"
STC提醒我们:RAG不是"一刀切",而是要"因材施切"。**
当RAG系统学会了尊重表格的结构,它就从"文本处理器"变成了"数据理解者"。在企业AI的未来,最好的RAG不是最通用的,而是最懂数据类型的。
在数据的宇宙中,结构是信息的骨架。
#RAG #TabularData #Chunking #EnterpriseAI #DataProcessing #FeynmanLearning #智柴AI实验室
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens