王欣网站建设与维护四川省住房和城乡建设厅网站无法进入

王欣网站建设与维护,四川省住房和城乡建设厅网站无法进入,浙江重大工程交易网,摄影网页面制作摘要 在检索增强生成（RAG）系统的构建过程中，文档分块（Chunking）的质量直接决定了检索的精度与生成内容的连贯性。传统的固定长度或基于结构的分割方法，往往因忽略文本内在语义逻辑而导致上下文断裂或噪声引入。今天一起看下论文《Max–Min semantic chunking of documen…摘要在检索增强生成（RAG）系统的构建过程中，文档分块（Chunking）的质量直接决定了检索的精度与生成内容的连贯性。传统的固定长度或基于结构的分割方法，往往因忽略文本内在语义逻辑而导致上下文断裂或噪声引入。今天一起看下论文《Max–Min semantic chunking of documents for RAG application》，看下动态语义分块算法——Max-Min 语义分块，如何作用提升 RAG 性能的底层优化。1. RAG 的分块困境RAG 系统的高效运行依赖于一个核心假设：检索到的 Top-K 文档片段应包含回答问题所需的完整且纯净的语义信息。然而，实现这一假设的基石——文档分块，却长期面临以下技术挑战：语义断裂 (Semantic Fragmentation)：固定长度（如每 500 tokens 一块）的分割，往往在句子中间或逻辑转折处生硬切断，导致检索到的片段失去关键上下文。上下文噪声 (Contextual Noise)：过大的块虽然包含更多背景，但也引入了大量不相关信息，干扰 LLM 的注意力。固定窗口的局限 (Fixed-Window Limitations)：现有的语义分块方法（如 LlamaIndex 的语义切分器）通常采用固定大小的滑动窗口来比较句子组，难以处理插入语、引用或脚注等非线性的文本结构。2. 超越固定窗口：语义分块的范式演进为了解决上述问题，业界提出了语义分块 (Semantic Chunking)。其演进路径如下：基于相似度的滑动窗口：通过滑动窗口计算相邻句子间的余弦相似度，相似度低于阈值时切分。百分比/分位数切分：不再依赖固定阈值，而是根据文档整体相似度分布的百分位来决定边界。Max-Min 动态聚类（本文重点）：将分块视为一种尊重时间顺序的动态聚类问题。它不再使用固定窗口，而是通过评估新句子与当前已形成分块（Cluster）的整体契合度，动态决定边界。3. 深度解析：Max-Min 语义分块设计方案Max–Min 语义分块的核心在于：它不仅考虑新句子与前一个句子的局部相似度，更考虑其与当前分块内所有句子的全局一致性。3.1 核心思想：作为动态聚类的分块算法将分块过程抽象为：按顺序处理句子s1,s2,…,sns_1, s_2, \dots, s_ns1​,s2​,…,sn​，对每个句子sks_ksk​，决定是将其加入当前分块CCC，还是开启一个新分块。这种方法保留了文档的线性结构（Temporal Nature），确保分块内的句子是连续的。3.2 逻辑结构：Max-Min 相似度策略算法通过两个关键指标进行决策：块内最小相似度 (min_sim(C)min\_sim(C)min_sim(C))：衡量当前块CCC内最不相似的两个句子之间的距离，代表了该块的“容忍度底线”。min_sim(C)=min⁡s,t∈Csimcos⁡(E(s),E(t))min\_sim(C) = \min_{s,t \in C} \text{sim}_{\cos}(E(s), E(t))min_sim(C)=s,t∈C