在构建基于大语言模型（LLM）的应用，尤其是检索增强生成（RAG）系统时，分块策略的质量直接决定了知识检索的精度与生成回答的可靠性。它远非简单的文本切割，而是将非结构化的文档信息转化为机器可高效处理与理解的知识片段的核心步骤。不当的分块极易导致模型检索到不完整或脱离上下文的片段，进而产生信息缺失或事实性“幻觉”。
不存在适用于所有场景的“银弹”策略。我们需要根据文档的类型、结构、语义密度以及对上下文连贯性的要求，在计算效率与语义智能之间做出权衡。本文将深入剖析当前主流的八种分块策略，从基础的规则切割到前沿的智能感知方法。
一、基于规则的分块：效率优先
对于处理逻辑简单、对速度要求高或成本敏感的场景，基于规则的机械式分块是理想起点。
1. 固定大小分块
这是最直观的策略：预先设定一个固定的字符或Token数（如500个Token）作为块的大小，然后对文本进行均匀切割。
- 适用场景：计算开销极低，适用于会议纪要、简短博客或FAQ等上下文依赖较弱的独立信息点。
- 局限：极易在句子中间或语义单元内部切断，破坏信息的完整性，导致检索到“半句话”。
2. 递归分块
为了缓解固定分块的弊端，递归分块在追求大致均匀的同时，引入了分隔符优先级。它首先尝试用最高级的分隔符（如\n\n段落）分割，如果块仍然过大，则递归地使用下一级分隔符（如\n、句号）。这种方法在LangChain等流行框架中常作为默认选项，能较好地保持句法完整性，适合处理研究论文、产品手册等。
二、利用文档结构的分块
许多文档本身具有清晰的层级，充分利用这些结构可以保留重要的元信息。
3. 基于文档结构的分块
此策略依据文档的物理或标记边界进行拆分，例如识别Markdown的标题（#, ##）、PDF的章节或HTML的标签。
- 优点：对于技术文档、法规条文或Markdown编写的文章，它能确保每个块都是一个逻辑自洽的单元，避免跨章节的信息混淆。
4. 层级分块
面对书籍、复杂手册等长篇文档，扁平切割会导致“只见树叶，不见森林”。层级分块构建树状结构，同时保留宏观的父块（如整个章节）和微观的子块（如具体段落）。
- 工作流程：检索时，系统可先通过子块进行精准定位，再关联其父块以获取完整的上下文背景，有效平衡了检索精度与回答的连贯性。
三、基于语义理解的分块
当内容复杂度提升时，仅靠符号和格式已力不从心，需要深入到语义层面进行划分。
5. 语义分块
这是一种动态策略。它利用嵌入模型计算句子或段落间的语义相似度，当相邻单元的语义距离超过设定阈值（意味着话题发生转换）时，才执行切分。
- 适用场景：完美契合科学论文、教科书、小说等需要保持论证或叙述流连贯性的文本，确保每个块围绕一个完整的子主题。
6. 基于LLM的分块
直接利用大语言模型的深层理解能力来划分文本。我们将文本提交给LLM，指令其识别出独立的命题、事件或逻辑段落，并据此定义边界。
- 优势与代价：虽然计算成本最高，但在处理法律合同、医疗病历或复杂的分析报告时，它能像人类专家一样理解微妙的逻辑转折，实现极高的分割准确性。
四、面向性能的前沿策略
为追求极致的检索增强生成效果，业界正探索更智能的上下文感知方案。
7. 代理分块
这更像一个由AI智能体驱动的决策系统。智能体首先通读并分析文档的整体逻辑与结构，然后动态制定定制化的拆分与摘要计划。
- 应用价值：非常适合处理高度非标准化、结构微妙的文档，如复杂的商业合同。Agent可能决定对背景部分进行概括，而对核心条款保持逐字原样。
8. 后置分块
这是一种革新传统RAG流水线的方法。常规流程是“先分块，后嵌入”，这可能导致块边缘的信息丢失全文语境。后置分块则反其道而行：先利用长上下文模型对整个文档进行嵌入，使每个Token的向量都蕴含全局信息，然后再从这个丰富的表示中派生出信息块。
- 核心优势：彻底解决了“断章取义”问题，即使是一个很小的切片，也携带了对文档整体的隐含理解，极其适合详细的案例研究或综合说明书。
总结：如何选择分块策略？
选择本质上是在计算成本、检索速度与回答质量之间寻求最佳平衡点：
- 追求效率与低成本：优先考虑固定大小分块或递归分块。
- 处理结构化知识库：基于文档结构或层级分块是最佳选择。
- 处理高价值、复杂文本：值得为语义分块、基于LLM的分块或后置分块投入更多计算资源。
在实践中，优秀的解决方案往往采用混合策略，针对知识库中不同类型、不同重要性的文档，灵活组合多种分块方法，以实现整体性能的最优化。 | 
发表于 昨天 03:04
|
查看: 1|
回复: 0
