_cut_entry_to_budget 会将预算转换为原始文本,但 _cut chunks 在包装器重新转义后会比预算多出几%。
作者: pozharskiydmitriy创建于 2026年9月18日更新于 2026年9月18日
** 版本:** 01.0 — Docker图像`ghcr.io/vectorize-io/hindsight@sha256:3edcb6165cefdea6721ddd0fce43cfd13b7a9c346ce0d2c5f4b4b4bf7bc3c8ac0b'(建造2026-09-14,回波修订版:5d46f9c8c8b4fb96f549a63abe1191b82a7840')。
□ 总结
api/hindsight api/engine/reflect/propts.py'将原序输出缩到count prompt tokens(output str)'`ocord document',然后将缩到:
[Python] 返回 QQ 条目,“ 输出 ” : { “ truncated ” : true, “ 内容 ” : 输出 字符串
=============================================================================================================================================================================================================================================================== 剪接的文字是稠密的JSON,所以里面的每一段引文和新行被重新取出("'-`\","新行-`\n"). 在 * 特征 * 中,包装器增加了30-60 % ; 在 *tokens * (预算是用什么来衡量的) 中,脱逃序列以低价表示,因此所提供的块会比预算多出几分之一 — — 用现实的剖面(103个短期观察数据,一个超预算项目)来衡量,一般是1-10%,取决于实地密度。
因此,所记录的不变量("cut text..."因此条目变得像任何其他块",即"每块预算")实际上不是切出的结果:循环度量原始字符串,消费者("split context history" →"XXappend block" →"块包装"和地图快取")看到被重置的被转换为大小.
□ 影响
小型和系统化的:每个被切割块预算的高达10%是通过躲避脚手架而不是证据来消耗的. 在每次请求上下文较小的部署时(例如当地LLaMA.cpp插槽为~24.5k令牌),这比历史授权的要多出几块. 注意它与模型-vs-预算活化剂相通:在o200k base下测得的9.83k-token块可以在不同的生产活化剂下使~11%的活化剂更大,因此一个切块的标称头室(20%到1.0×窗口)部分被两种效果所吃.
□再现.
```2ZZ
从后视向 api.engine.refrict.propts 导入 cut entry to critics, rest history 块
从后视 api.engine.reflect.tokenization 导入计数 prompt tokens
# 现实简介:短期命令(引用/新行),一个超预算项目
项=[
{"id":"m%d"%i,"text":"t" *90,"fact type":"观察",
"实体": [{"奇异":"X","类型":"出产","记事":"["×"];
"所提及":"2026-09-17T00:00:00+00:00","tags": ["a","b"],".
"源代码": ["s%d"%i]]
i 范围(103)
[ . ]
项目[0]["文本"] = 项目[0]["文本"] * 40#单项 > 预算
条目={"工具":"召回","输入":"出":"出":"出":"出":"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"出"
切 = 切入 到 预算(输入,9830)
符号 = count prompt tokens ( reland history block(cut))
print(tokens) #~10750 – 超过9830预算,虽然循环停止于 \\ 9830 生□ 修补
将削减额与制成的包装纸相抵预算——循环
计数( P)
递归 历史 块(QQentry, "output" : {'truncated": true, "content": 输出 str )
(中文(简体) ).而不是生下来的 . . . . . . .
内容来源: vectorize-io/hindsight