"史密尔因为它发生"——苏斯博士 今年早些时候,我承担了一个短期的试运行角色,一个早期的机器人启动。
前提是:协助数据收集、注释和评价工作流程,这基本上是任何现代机器人或内含的AI系统的支柱。
审判没有长期成功.
大约两个月后,我被放走了——这个决定,老实说,部分降到我的学生的带宽上。
平衡整个课程 和启动试验 比我想象的更难。
但这不是我想讲的故事。
我想分享的是 我所吸取的技术教训—— 有关建立强力数据管道的教训, 关于理论与实践之间的差距, 以及我下次会做的不同。
这些不是公司的秘密 它们涉及到任何从事机器人数据管道工作的人将遇到的一般工程挑战——我在报纸上读到过的挑战,但直到我站在他们面前才真正内部化.
1.
数据管道形状是通用的——但是,如果您在ML或机器人领域工作过一段时间,细节就不是了,您已经看到以下描述: 数据收集 – 注解 – 评价 标准三相管线.
工业销售商在机器人内容中明确描述.
学术项目模拟这种结构。
田地共享词汇.
规模AI和Toloka等公司使用类似的行业工作流程,涉及数据收集、注释和评价。
没有共享的是具体内容:传感器的设置,校正程序,注释标点,以及评价度量衡.
这些是公司IP住的地方。
管道形状?
这只是地图。
而地图为公所通.
我会做不同的: 在你收集之前做模拟。
数据收集费用昂贵——在时间,硬件磨损,以及操作员的认知负荷.
在运行整会前,先用小批量进行可行性研究.
校验您的同步并抓取脚本 。
我想这是标准练习 不是那样的 这一假设的费用显示为重作。
2.
说明 外观:更多并不总是更好 设计注解计划时有自然诱惑:捕捉出一切.
每个可能的标签,每一个边缘大小写,每一个你以后可能想要的属性.
这是一个陷阱。
过度粗略的注解会生成: 更高的操作员认知负载 → 较慢的吞吐量, 更多的错误 更大的不一致 + 更多的标签意味着 更多的分歧 脆弱评价 → 您正在针对您可能不需要的东西进行评价 更好的方法吗?
首先要用最小的可行方案来回答你的核心研究问题。
只有在数据告诉你有必要时,才添加复杂性.
一个具体的heuristic:如果你在设计一个演示-收集任务的标签, 问自己:"我是否真的会用这个属性来决定演示是否成功?" 如果答案不是立即同意的话,就放弃吧。
重整颗粒性比清理不一致的多标签更容易.
3.
自动化仍然需要监督——特别是在评价自动化方面是诱导性的。
你可以"只是设置一个自动评价管道并让它运行"的想法很有吸引力,特别是在资源紧缺的起步阶段.
我学会了很难的方法,自动化评估不能取代人类的判断。
作是滤取.
自动检查抓取明显的故障(丢失数据,格式错误).
它们不会捕捉出微妙的问题(依赖文本的错误,边缘案例).
它们在不定期抽查的情况下制造出一种虚假的信心.
实际工作流程: 运行您的自动 eval, 抽查一个样本 通过什么, 在失败中找到模式, 添加到您的自动检查, 并重复。 "人入地出"图案.
容易忘记,当你移动的快。
我曾经说过的 如果我能回到那场审判的第一天, 这正是我要说的: 事先要求明确的成功标准。 "干得漂亮"的意思是 diff