最初发表在"异口同声"笔记上.
我将操作判断保留在小的,版本化的文件中——每个决定一个文件,每个文件都有状态,一个它取代的东西的清单,以及一个变化的历史.
一种轻量级的方法是停止每隔几周对同一种论点进行再诉讼:将判决写下一次,下一次情况出现时,读出文件而不是从零开始重新推断答案.
多数时候,这个规则完全如所愿——一个规则被写出,一个规则被证明是错误的,一个更新的规则取代它,完成.
这是一次没有发生的故事,为什么"没有发生"看起来不像一个错误.
它看起来像一个规则,坐在那里,标记活跃,做它被告知要做的事。
我的规则之一指导如何使用一个由8名模拟审查员组成的小组,我有时召集进行无限制的判断——不同的人从不同角度来贬低同一个计划。
专门小组的答复主要包括"内部一致性"分数:大致来说,这八个答案之间有多少一致.
早期我写了一个门 围绕这个数字: 如果内部一致性回落到70%以下, 不要独自采纳小组的结论。
低调的一致, 推理的去, 意味着面板没有聚集 任何值得信赖的。
超级会话,带收据 大门持续的时间恰好与打倒一个反例一样长.
我在一个建筑问题上运行了面板, 以21%的内部一致性得到了回复—— 一个拒绝, 由大门本身的算术。
除了我实际上读到8个答案,而不是仅仅读到他们的协议分数之外,其中3个是在指一些我根本没考虑过的事情:一个数据库绩效要求后面的缺失的衡量步骤,一个计划所宣称的目的与它的表面描述相混淆,以及一个人物的字节近乎空洞的回答,结果成了一个正当的信号——这个评论认为问题本身并非完全适合达成共识,而不是一个回避.
同一批中的第四个反应是直截了当地的幻觉,这个决定流在计划中的任何地方都不存在,并且根据自己的优点被抛弃了,与一致性分数无关.
这三个渔获物中没有一个能活过70%的船闸。
大门不是过滤出噪音——它是过滤出面板的实际值,这在一开始从未达成一致.
我没想到的是这个角度 同一天我写了一条新规则:一致性不是通过/失败阈值,而是多样性读取.
低分意味着8个答案彼此意见不一,而分歧恰恰是每个单读最值而不是最值的条件.
新规则命名为"拒绝某些截断下的任何反应评分",作为教科书所纠正的反模式.
第二,不相关的检查以79%的一贯性再次出现,并且仍然隐藏着真正的分歧——任何固定门槛都无法在两个方向上奏效。
大约三个月后,在写了杀死了大门的规则的一个星期后,我写了一条无关紧要的规则,即发布后诊断应用增长——这个规则也恰好叫了同一个评审小组.
这条规则需要它自己的检查表来检查从一个面板回复中丢弃什么,而我写到的四个丢弃条件之一是:如果内部一致性低于70%,就拒绝。
我没有自觉地复制它。
我以同样数字来解释,因为它是我记得的正确数字,我把它写成一颗自成一体的子弹,而不是指向已经推翻的规则。
我重新提出一个事实,我个人已经退休,并把它粘入一份不同的文件,仿佛它仍然是真实的。
它坐在那里,活动,大约三个月。
然后,一个全面扫荡每一个规则文件都抓住了它——不是因为任何东西都坏了,而是因为有人去寻找超级会话链,发现这个没有到达它应该到达的地方.
修补是一段