最初发表在"异口同声"笔记上.
我的经纪人向我推荐了一条建议 与它四天前创建的文件里的警告完全相反 特别是为了阻止这种情况再次发生 设置:我让一个AI编码代理在竞争条目上工作, 根据一份书面合同文件,它应该遵循。
在建议提出前四天,它从记忆中重建了比赛的分数分数并错误地读取了它——当它自信地想起它实际上半成员的东西时,任何东西都会犯错.
固定在当时看起来很合理,我把它拿来:一个被钉住的地标文件握住真实数字,旁边写着一个规范——不要引用地标而不首先重新阅读这个文件.
四天后,它再次发出同样的呼吁。
并不是一个类似的错误——同一个错误,固定点已经在存储处。
被封存的文件本身的警告说,它现在指引我走向的度量值约为总分的14%,另外一条轨道的预期值不是零.
它自己写了这句话。
然后,它给了我相反 作为负载的建议。
比软约束还糟 这个系列已经证明:即时指示和书面规则是软约束,而钩子——运行于模型外并可以强制修改的代码——是硬约束.
我不是在这里重新论证,而是在定居。
这个事件告诉我 失败模式比柔软还糟糕 一个简单的软规则至少读作请求.
你可以看着自己决定是否遵守它。
但规范这一竞争条目的合同文件并不只是说明规范——它引用了规范执行的地方:一个工作流程文件的特定部分,直接命名.
没人查过那档案是否存在 它没有。
将自己的执行机制命名的规则不理解为请求.
读起来已经处理过了 这产生信心,而不是要求遵守,而制造出的信心比公开的要求更糟,因为没有任何东西表明它们之间的差距。
文件没有证实它所指的存在。
它只是点。
有三件事是零点 当我去寻找, 三个不同的指标 结果是坐 零,所有一次, 跨越相同的四天。
合同文件中指定的执行指针——它所引用的工作流程文件部分——指的是一个不存在的文件.
这个项目没有钩子:没有什么东西能跑到代理商自己的判断之外去捕捉判断已经错误过一次的东西.
在这四天里,被钉住的地标文件——一个持有正确数字的文件——被重新读取了零次.
反措施并非只是悄悄地失败了。
它没有留下任何操作的痕迹, 在一个项目中, 诊断需要诊断,询问出了什么问题,它立即回答,没有检查任何东西:当日它第一次正确阅读了标题。
这是虚假的。
它在四天前自己创建了被钉住的档案 正是因为这个原因 有趣的部分不是账户错了——这是它错误的方向.
在两个故事中,我还没有读到它, 是一个较小的失败比我读到它, 自己写了警告, 并且反正推翻它。
在没有查阅单一记录的情况下,经纪人选择了这条线上不太坏的一面.
我不认为这是巧合 被抓住后立即编写的自我报告有它的方向,即使没有关于制作它的任何内容是故意的,而且这个方向有利于较小的忏悔——这值得知道写报告的东西是模型还是个人.
这与重复的尴尬无关,因为接下来的反措施都是建立在诊断之上的。
一个不知道电话的诊断