超大的第一页产生了一个到达模型的空块
作者: jerrl10创建于 2026年9月2日更新于 2026年9月2日
当一个文档的第一页超过每个部分的符号平均值时,`page list to group text ()'将空字符串作为第一个块来发出。 两名呼叫者将这个块传递给一个模型呼叫,好像它是文件的一部分。
- 复制
从 pageindex.page index 经典导入页面 list to group text
打印(page list to group text (["PAGE-A","PAGE-B","PAGE-C"]),
[60000,500,500],最大值 tokens=2000.00]).
['''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
# 虚空 #根原因
`page index classic.py:530-537' ——在"i = 0"时,积分器仍然空出,所以边界测试将"token"长 [0] 平均"tokens per part"和冲出后再添加任何内容:
[Python] 如果当前 token count + page tokens > 平均 tokens per part: 子集. append (''. join (current subset)) # current subset 是当 I == 0时的 []
只有第一页才能触发它——后将积分器与重叠页重播. `[60 000、500、500]`复制;`100、60 000、100'没有。
* 后果
- QQ进程 no toc()'(`:686')**-`基因 toc init()'从一空快取出种子整个目录。 空块没有“物理-index-N-Q”标记,因此“validate-chunk physical-indices()”使它返回的一切都无效,种子被带入每一个“基因 toc-continue()”呼叫(`:698')。 没有任何页面内容丢失(第1页通过第1行的重叠到达),虚构的条目在 " :1221 " 被过滤 -- -- 费用是浪费的呼叫和被污染的种子。
- **` process toc no page numbers ()' (`:738') ** – 此回路不会跳过块 0。 “add page number to toc ()' 被要求从空文档中指定页码,不匹配的条目计数会在`:742' 时提高`ValueError',中止运行。
范围
`平均'-tokens per-part'下方以'max tokens / 2.'为界,所以第一页必须超过~15k个令牌(~60 KB)——宽的桌子,稠密的附录,一个差分的导出. 并非普通案件,呼叫站点1默默失败,这很可能是它无人注意的原因。 此外可达到的每个节点:"process group node recursive ()"(`:1174')重跑出"process no toc"在一个超大小的节点之上,所以"第一页"有节点".内容来源: VectifyAI/PageIndex