去年我为小企业建造了AI自动化系统。
Chatbots,多代理工作流程,那种在演示中看起来很棒的东西,然后遇到一个实际的客户,他们输入"idk just fix it"并打破了一切.
大多数关于AI代理的文章都谈到建筑.
LangGraph vs CrewAI,哪个向量存储要使用,如何连锁提示.
这些东西很重要,但是一旦涉及到真正的金钱和真正的用户, 并不是什么能维持这些系统的生命。
我希望我第一次发货前有人告诉我 演示会骗你 每个代理演示工作 因为你,建筑师, 知道如何与它交谈。
你讲得很清楚 你没有打字。
你不能同时问三个问题。 10分钟内不要沉默 然后回来说"等我们讲的是什么" 真正的用户经常这样做。
工作原型与工作产品之间最大的差距是处理混乱,半成型,矛盾的方式,人们在匆忙或烦恼时实际打字.
如果您没有用错误的输入测试您的代理, 您还没有测试它 。
什么帮助:我开始保存一个运行的文件 每一个奇怪的输入,一个真正的用户 发送,这混淆了代理。
一旦你拥有了50个这样的模式, 模式出现得很快, 你可以为实际的失败模式构建处理, 而不是你想象的模式。
静悄悄的失败比响亮的失败更严重 早期我建立了一个工作流程自动化 从一个CRM中提取数据 运行在几个AI步骤中 然后推入电子邮件工具中 当一步失败,整个事情就悄悄地停止了.
没有错误,没有记录 任何人检查,什么都没有。
客户三天后发现,他们发现没有后续电子邮件。
现在,我建造的每一个多步代理管道,都必须在它之前回答一个问题:当它破裂时,谁发现,以及多快?
不,如果它打破。
何时 如果答案是"最终的,意外的",那还没有做到.
给探员一个说"我不知道"的方法 这听起来很明显,但这是 事情团队跳过,因为它是不迷人的。
一个有自信地编造东西的特工 比一个说"我不确定,让我找个人类"的特工要危险得多 我见过一些支持者 发明了退款政策 而这种政策并不存在 因为没有人明确告诉模型 它被允许弹出。
修出点子的路 并不是你以后的退路 它需要成为设计中的一等部位,有自己的测试,与幸福之路相同.
费用攀升到你的快。 。 。
一个多代理系统,由三四个模型互相交谈,有时在循环中,以容易错过的方式相加,直到账单出现.
我有一个工作流程,一个代理偶尔会被卡住 重新检查自己的输出在一个循环中,因为一个措辞不好的停止条件。
没有人注意到两个星期 因为每个电话都是便士 现在,我把硬盖 在每个循环,记录每一个模型呼叫 与一个请求的ID, 所以如果有东西跑掉, 我可以看到它在仪表板 而不是发票。
客户不希望"AI".
他们想让烦人的任务消失 这个改变了我销售和建造的方式 没人会因为多代理系统而兴奋起来 他们醒来后很恼火 他们的团队里有人每周要花四个小时 人工复制两个工具之间的线索 AI部分是怎样,而不是什么。
此时我不再与科技领头,开始与具体的任务消失相接,项目在发射后变得比较容易范围化,也比较容易活下来,因为成功是通过"这个任务仍然需要一个人来衡量的"而不是"AI令人印象深刻".
没有人告诉你: 维护是真正的工作 航运 第一版可能占实际工作的30%。
APIs改变.
模型提供者悄悄地更新行为.
您的客户端的客户端客户端管理程序新增了需要的字段, 您的整合中断时间为2: 00 。
基于代理的系统比普通的更能触及移动的部件 a