ce-retune: 在候选选出后,区分一个条纹的概率与证据
作者: 22nsuk创建于 2026年9月13日更新于 2026年9月13日
`skills/ce-retune/references/noise-floor.md` 将 `p^N` 描述为在从 A/A 和存档运行中估计基准值后的精确测试。它还允许在更改失败的候选项后进行另一轮测试。用户指南重复了单臂测试的说法。对于固定的已知 `p`,独立的运行和一个预先指定的尝试,计算是有效的。它并非自动地成为对选定的赢家在重复尝试后的显著性水平,而且独立估计的基准仍然存在不确定性。一个数值反例(未测量 CE 性能):当 `p=0.58` 和 `N=8` 时,一个计划的全部成功尝试的概率为 `0.0128063`。在同一个空白条件下,20 次独立尝试中,至少有一次成功的概率为 `1-(1-p^N)^20 = 0.227235`。更改候选项并不会消除之前的选择机会。保持操作连续性条件、A/A 测量、固定构建确认和失败停止行为。对统计解释进行合格评定,保留所有尝试,并区分候选项选择证据与最终检查,其结果未用于选择候选项。当假设或整体误差控制不支持时,报告观察到的确认,而不提出精确显著性的声明。范围:仅限于连续性指导及其面向用户的解释;不包括新的统计引擎、依赖项、固定样本最小值或对 `ce-optimize` 的更改。
内容来源: EveryInc/compound-engineering-plugin