几乎所有生产LLMbug都是从输入,输出和日志中诊断出来的.
解释性在狭义的一组案例中获得其保留,并且知道哪些比了解技术更有价值。
此页面是该列表, 其中以错误工具命名 。
诚实的起步位置 如果您的模型输出不良, 命令要做的事情列表将开始 : 读取发送的实际提示, 包括您所附加的所有框架; 检查失败的已检索上下文; 检查失败是否在0 温度下复制; 检查是否从特定部署开始 。
这四个步骤解决了绝大多数实际事件。
模型的内部是最后看的地方,而不是第一看的地方,因为它们是没有改变的部分——而该核对表的系统版本比本页上的任何技术都更好的使用一个下午.
接下来是残留物: 遗留下来的问题, 模型内部的信号是真正最便宜的前进道路。
大门:你有重量吗?
这个集群中几乎所有东西都需要局部的权重.
主机API返回符和有时返回日志概率.
它不会返回激活,也不会。
因此,实际问题不是“这种技术是否良好”,而是“这个问题值得自己主持一个公开的模式来调查”。
通常情况并非如此。
有时,一个产品的核心是分类器,一个安全相关的行为,你必须特征化,一个你微调而现在无法解释的模型——它就是,当内部接入是购买的一部分时,自我托管的取舍变化.
一个技术在门外幸存:日志概率分析通过任何暴露它的API起作用,并且它是关于一个模型存在的内部状态的最廉价的有用信号.
任何模型上的逻辑概率 代号的发行会告诉你模型是自信的,还是在接近20多岁之间挑取.
概率为0.95的错误答案和0.31的错误答案是不同的bug:第一个是表示问题,第二个往往是正确答案有争议并丢失的即时或检索问题.
对于任何受限制的产出——分类,路由,取自一固定套件——读取所允许的符号上的分布会给你一个可使用的信心信号和弃权门槛.
这是一种生产特征,而不是一种分析:在阈值以下弃权,将一类沉默错误的答案转换成一个经处理的案件。
参见力学的对数概率.
当一个检索系统返回错误的文档时,嵌入-空格诊断用于取回,有关的内部是嵌入,它们完全可供您使用.
检查查询嵌入和嵌入的文档的相似性,然后检查实际取胜的文档.
这区分出三个看起来与外界完全相同的失败:文档完全不在索引中,它存在但得分低于切分,或者它得分好,被相近的重复所取代.
每一个都有一个不同的固定,没有太多的即时迭代将它们分开.
作为运行时分类器的探测器 如果你是自我主机的话,一个中层隐藏状态上的线性探测器是一个真正实用的组件.
它花费一个点产品 在您已经计算, 它运行在一代之前的快板上, 它可以标出类别—— 这个请求看起来像我们往别处走的类—— 比第二个模型调用便宜。
探险页面的评价义务完全适用:控制任务,在文件一级被搁置,以及实际流量的测得的假正率。
根据其训练精度部署的探测器是一种责任。
长文本路由错误的注意模式 Narrow 但真实 。
如果一个模型忽略了放置在长文档中间的指令,注意模式显示位置结构