同页上的兄弟节点获得相同的文本 + 重复/接近复制摘要
作者: designcomputer创建于 2026年7月1日更新于 2026年7月1日
□ 说明
当无TOC倒置结构生成("process no toc"-"generate toc init"/"generate toc continue")发出多个兄弟会的节点,使所有兄弟会在同一物理页面上着陆时,每个兄弟会最终会得到与同一页等同的"start index == end index". 由于节点文本由整页取出而来,而不是由页面内更细的相抵来取出,因此每个兄弟姐妹——以及他们共同的父系——都会得到同源文本. `遗传-node-Summary'然后触发该相同的文本,而不提及兄弟姐妹/父母,因此它为父母一方及其所有子女制作相同的(或几乎相同的)摘要。
□ 根源
Get text of pages'(pageindex/index/utils.py:339-344')按整页(start-index'/end-index'),而不是由任何更细的文本在一页内抵消。- “后-处理”(
pageindex/index/utils.py:274-293')指定“从连续项目起起起-index /end-index',“物理-index”——当几个兄弟项目都在同一页上时,它们都有相同的界限。 add node text' (pageindex/index/utils.py:347-357'),然后返回父母和每个受影响儿童的字节同文。遗传-node 摘要'(pageindex/index/utils.py:192-200')纯粹取自`node['text'',没有意识到兄弟姐妹/父母的重叠,输入如此相同-输出相同(或几乎相同)。
这条道上任何地方都没有去相重复或更窄的文字抵消步骤来防止.
□再现.
31页无嵌入式目录的PDF,通过下游项目(OpenKB)索引,使用"Index Config(if add node text=True,if add node summary=True,if add doc description=True)". 一个"软件安装"部分及其四个被编号的子项(1.1–1.4),都在同一物理页面上,所有项目都得到了精确的生成的简要段落逐字——在最后树上/上输出重复了4+次.
□ 建议修正
要么(a) 由页面内更细的擦去(不仅仅是整页颗粒性)的切片节点文本,使同一页面上的兄弟姐妹获得不同的文本,要么(b) 当兄弟节点有相同/近同源文本并跳过/合并冗余总和时检测,而不是在同一个输入上反复重复LLM.
内容来源: VectifyAI/PageIndex