最初发表于tamiz.pro.
在弗兰克·赫伯特(Frank Herbert)的"地"中,沙伊-胡卢德(沙虫)代表着一种压倒性,不可预知的自然力量,必须得到尊重,航行或活下来.
在现代软件工程中,我们有一个新的Shai-Hulud:大语言模型(LLM)代理商的混乱,非决定性,且常不透明的供应链.\n\n 多年来,"供给链安全"意味着锁定npm包,验证多克图像的GPG签名,并扫描CVEs的二进制.
这是一个静态的,决定性的问题。
今天,随着我们整合代理工作流程—— LLMS 计划、执行代码和与API 互动的系统—— 威胁环境已经从静态脆弱转向动态和语义危险。
代理人可能没有缓冲溢出物;它可能具有"逻辑溢出物",产生依赖性的幻觉,渗出上下文,或执行一个假想但破坏性的命令序列.\n 旧的工具无法抓住这一点。
你无法思考 你无法追踪推理 为了活过这个新的生态系统,我们必须将我们的防御战略向两个支柱倾斜:用于遏制的地方有限责任公司和用于验证的Eval Harness代理公司。
这不仅仅是隐私问题,而是为AI供应链建立一个强大、可观察到的防御层。 \ n\ n\ n 黑匣子供应链的死因 \ n\ n 传统软件供应链为线性: source - > 构建 - > 部署。
每个阶段都实施安全控制。
AI代理供应链是递归式的并出现.
一个代理人可以拉出一个库,读取它的文档,写出一个包装,并在一个会话内执行。
这里的"供给链"包括基础模型的训练数据,即时模板,检索数据库(RAG),以及代理访问的外部工具.\n\n 当您将代理的推理外包给一个公共 API( 当前大多数企业执行的默认) 时, 您正在曝光三个关键向量 :\n\n1。
数据泄漏: 您的专有上下文( 代码、 PII 、 商业逻辑) , 将您的周界留给提供者的模型处理 。
即使提供者声称不训练您的数据,推论攻击和数据保留的风险也为非零.\n2.
通过供应链的快速注射: 如果您的代理人从已损坏的外部来源( GitHub Repo, 新闻文章, 恶意文档页面) 获取上下文, LLM 可以执行嵌入该文本中的意外指令 。
这是语义缓冲溢出.\n3.
行为漂移: 由提供商在一夜之间更新的模型可能会突然改变其安全护栏或推理模式, 打破应用程序的合规性或逻辑, 而无需修改代码 。\ n 此是沙伊胡鲁德.
它在地表下移动,无法预测和广阔.
依靠第三方API来进行批判推理,就像试图用扔出治疗来驯服沙虫.
你需要栅栏 \n\n □ 本地 LLMS: 周边栅栏\n 这个新范式中的第一条防线是本地推论.
运行像Llama 3,Mistral,或Qwen本地(在前提上或安全云GPU上)等模型从根本上改变了信任边界. \ n\ n\ n\ n 本地为什么是一个安全 Posture\n 本地LLMs 提供数据主权 。
您的提示、 检索到的文件、 以及您的代理输出都永远不会离开您的基础设施 。
这消除了数据泄漏的主要矢量。
但更重要的是,它提供了行为稳定性.
您正在运行一个特定版本的模型, 并有一组特定的权重 。
你知道你把逻辑外包给什么人 如果在模型的训练数据中发现脆弱性,或者在推理中发现已知的偏差,您可以独立于提供者的放出周期进行补丁、更新或回滚。\n\n\\\\\\\\\\\\ 工程取舍(Engineering Commerd-off\n\n)批评家经常认为本地模型的能力不如顶级封闭模型.
这是一个不断变化的基线。
开源模型正在迅速缩小差距。
更重要的是,能力不是唯一的衡量标准;可靠性是.