我们运行~100 LLM代理 无人关注的地方模型。
上星期,我们找到一份文件,在五天内改写了245次,每次尝试都被拒绝。
一个兄弟会的文件:225次。
合并起来,大约470个被浪费的世代,全部被同两个档案所烧毁.
这是验尸报告,有实际数字 我们的管道很简单:一个生产者代理写出文件,一个审查员代理对照合同(最小长度、要求的章节、没有占地者垃圾)加以检查,被否决的工作与固定指令重回原位。
被否决的文件是一个关键管理(KMS)执行规格——4 452个字符,完全属于专题。
审查者的判决:"请求是3行的电子邮件分解响应(LOCK / VERDICT / Reason),但答案是一个很长的KMS spec.
重写为仅3行".
一个问题 我们把文件剪了:"LOCK","VERDICT"等词,其分身服务名称在其中出现0倍.
审查者发明了这一请求。
为什么循环从未结束 两项合同相冲突: 审查者的固定指令:只输出3行 出品人出品合同:最少600个字符.
任何输出都不能满足两者.
因此制片人未能完成合同,被重新排队,再次出品,再次失败——245次.
我们的重试上限计算了审查, 但合同失败的产出从未达到审查。
放弃机制存在;它只是看错了柜台。
根由:审查者从未见过请求 Our review point 包含出品体(前4000个字符)和出品格式.
它从来没有包含 最初的请求。
我们问一个模型 "这是否与请求相符?" 没有告诉它请求是什么。
一个模型要求对照它没有的信息来判断 它会产生幻觉 我们的确是有245倍价值的 丰收失败:在审阅前将长文件缩短为4000个字符,评论员不言而喻,并标出"瘦-断中刑".
伤口是我们的 而不是制片人 有多常见?
我们为审查中出现的具体术语(产品名称、格式符号)对档案中所有2 038项审查进行了审计,但审查文件中却没有任何内容。
结果:4次受污染审查——0.2%。
这是令人不舒服的一课:0.2%的幻觉率产生了470个被浪费的跑道,因为没有任何东西会放弃.
低速×无限回转=无限损坏.
比率不是风险;循环是风险。
修复(全部为机械) 将原请求传入复议即时.
如果它不能被取出,即现在的提示说:"不要去猜这个请求——说这个请求是未知的,并且自己判断这个文物".
宣说出道. "8,784个字符中的第一个4000个——切口是我们的".
拒绝无法接受的指示 在审查自己的出口门。
一次审查要求"只有N行",而生产合同要求600+字符现在作为审查失败,从不入队.
计算连续合同的失败,而不仅仅是审查,然后在5后为一个人停放物品——附上最后的判决并固定指令,这样人类就可以一一看就知道为什么.
每艘用测试器修补的船 我们故意破解以确认失败 如果你运行代理 无人看管 在Npm:honto-contract上——上周下载了600次, 因此除了我们之外, 无人看管的操作清单和我们的3个监视模板是免费的(电子邮件标注):无人看管的操作 Kit 完整出品集(7个模板-克龙注册,无声-零手表,心跳,出品合同:本作中准确的出品)可在同一页上查阅. (https://gxcafe.co.jp/harness-kit/?utm source=devto&utm medial=article&utm campaign=templates-pro).
老实说,我们还没有客户。
上面的一切正是我们自己运行的, 以我们自己的失败来衡量.