即时工程是一种对话;上下文工程是一种系统架构.
在与"大语言模型"(LLMs)合作的初期,优化快取就足以完成简单的文本生成任务.
但当你建立自主系统时, 就像一个自动服务器连接云数据库、网路和推理节点, 将LLM视为CPU,将上下文窗口视为RAM.
背景工程是把记忆作为一种稀缺的资源来对待的学科, 精心设计管道,为模型提供它所需要的准确的事实、指示和工具, 具体时间是它所需要的。
四项核心战略 选择: 准确决定上下文窗口的外部来源——像数据库计划或特定的API文档——以最大限度地实现信号与噪音的比例。
压缩 : 只有在关键事实结构成功后才能缩小上下文有效载荷。
写入:坚持活性上下文窗口外的任务状态和中间决定,以便代理商日后可以取回.
把这当做是给特工自己的 本地首个减价金库来进行网络思考 孤立: 当域相撞时, 不同的上下文 。
与其强迫一个模型做一切事情,不如建立多代理系统,使每个代理都得到严格限定上下文的片段.
导航失败模式 将一个巨大的上下文窗口与原始的 JSON 日志和无结构的数据连接在一起, 是灾难的秘方 。
在构建复杂的工作流程时,您必须针对这些关键故障模式设计出护栏: 中毒:被幻灭或错误的信息随时间推移而进入上下文和化合物,因为制剂不断再用.
内幕分流: 代理人被过度的过去历史或过度的动词工具输出所困住,导致它重复过去的行为而不是明确的理由.
上下文混淆:同时提供太多相类似的工具使得选择困难,分散了模型的注意力并贬低了输出.
上下文碰撞:即时内部的矛盾规则或数据让代理人在相冲突假设之间被冻结.
对于实际规模的工程系统,你必须学会把系统分解成孤立的,高度规范的组件.
您目前如何处理整个自动化工作流程的内存持续性和状态管理?