每个平台团队最终都会提出同样的问题:当生产中断时,我们能否让某些东西自动固定生产?
说"是"的本能是可以理解的,在凌晨3点发生的事件是昂贵的,很多库伯涅特失败都遵循了可识别的模式.
但是完全自主的补救有不良的故障模式:当代理错误时,错误的快速,在规模上是错误的.
Kubernetes的AIOps代理通过将问题一分为二来解决这个问题:让代理者做检测,关联的工作,并提议人类的零件缓慢而不一致,并且让人类成为任何有实际后果的事物的最终决策者.
这是人行走(HITL)模式,在Google Cloud上,它将清晰地映射到现有的原始人身上:运行时间的GKE,信号的Cloud Monitoring/Logging,守护轨道的IAM和Kubernetes RBAC,以及用于推理层的Vertex AI或自备模型.
实际上,特工将蜂鸣词和Kubernetes的AIOps代理在循环中做出四件事: 观察——消耗事件,度量,以及来自集群和周围GCP服务的日志 Correlate——将症状(说,上升了5xx)与可能的原因(推出不良,节点被饿死,证书过期)联系起来.
建议——产生一种或多种候选补救方法,每个方法都有置信分和爆炸半径估计法或询问——如果行动被事先批准为低风险,直接执行,否则将通往人类作出决定 在第二步和第四步中,工程工作不成比例。
步骤2(correction)要求代理商在多个经常是吵闹的信号源上进行推理,而不是模式-匹配一个单一的度量.
第四步(人出闸口)要求审查表面足够好,以至于疲劳的待命工程师可以在秒后,而不是分钟内作出正确的决定.
GKE上的核心信号 批准门,具体 人入会门通常是一种基于聊天的审批流程,因为当值工程师在一次事件中已经住在斯拉克或Google Chat.
一个典型的建议看起来像是:[证明][拒绝][修改][通过完整追踪] 批准这个的工程师不是从零开始的 他们正在确认或推翻一个得到良好支持的假设 与从原始仪表板上诊断出事件相比,这是一个根本不同的(和更快的)认知任务.
批准和拒绝都应写回系统:批准会加强未来类似事件的信心模式,拒绝会抓住一个理由代码,这样代理的图案库会改进而不是重复同样的错误建议.
不是每个行动都应该得到同样的对待。
有用的三级分割:自动执行(不需要批准) 在已配置的界限内, 重新启用一个相撞吊舱 清除一个被卡住的终局器 放大一个水平的可移动自动比例尺 批准 需要将一个部署回滚 放大一个超过阈值的节点池 任何涉及秘密 配置地图 或 IAM 仅绑定 Escate, 没有执行能力 区域失败决定 任何触摸计费相关基础设施的行为 代理商没有自动执行的历史记录(不需要批准) 在已配置的界限内, 重新启用一个相撞吊舱 清除一个被卡住的终局器 放大一个水平的可移动自动比例尺 批准 需要将一个部署回滚 放大一个超过阈值的节点池 任何涉及秘密 配置地图 或 IAM 仅绑定 Escate, 没有执行能力 区域失败决定 任何触摸到的计费相关基础设施 代理商没有历史记录 这种分级应该是平台团队 拥有和审查的配置 代理的职责是将每项提案与政策相抗衡,而不是写出政策.
Kubernetes-国内护卫 因为特工在..