#73238 (KubernetesH) (英语). 基础设施的故障需要重新尝试.

您要从哪个类别上提交这个问题?

供应商

QQ Apache 气流版本

3.3.1 国家

发生了什么事如何复制?

‘执行官KubernetesExecutor(并行=60)报告说,任务实例 <任务实例:xxxxxxxxxxxxxxx2026-09-16T07:00+00:00地图 index=5[排行]ti id=01a0a95a-37ed-7177-b212-4e25272f5c2a> 完成状态失败,但任务实例的状态属性被排队. 更多学习:https://airflow.apache.org/docs/apache-airflow/stable/troubleshooting.html#task-state-changed-externally Extra info: Pod 失败是因为无 [airflow.task] loc=taskinstance.py:1841]'

在下面的截图上说,第一次尝试是看不见的,它只成功进行了第二次尝试.

<img宽="790"高="306" alt="Image" src="https://GitHub.com/user-attachments/assets/10befa80-9662-4799-b0a6-a683115f43fe"/".

你觉得应该发生什么?

支持基于失败原因的不同重试政策,特别是针对应用失败与基础设施或连通性失败的政策,将很有价值。

任务作者可能希望决定性的应用程序错误立即失败,因为用相同的输入重运行同一代码不太可能成功. 当某项操作非本能或因其他原因不安全而重复时,它们也可能需要停止复试。

然而,取消资格完全是危险的。一项任务甚至在行动开始之前就可能失败——例如,由于工人舱无法启动——或者由于短暂的网络问题或暂时的第三方服务中断。这些失败可能是安全和值得重试的。

相反,每一次失败都适用一次复试政策,可能导致确定性应用错误在立即失败时反复运行。

理想的情况是,气流至少允许下列类别有不同的行为:

应当立即失败的应用程序故障
基础设施或执行前的故障,应在不消耗申请重试预算的情况下再审
过渡性连通性或第三方失败,应当遵循可配置的再试验政策

我不确定理想的执行会是什么样子,但代表应用错误、基础设施故障以及具有同样通用故障状态的第三方超时,很难选择安全有效的重试策略。

在一张罚单中为涵盖几个关注而道歉, 但我相信这些关注是紧密相联的: 在不知道为什么任务失败的情况下,

相关 : https://GitHub.com/apache/airflow/issues/73164 (中文(简体) ). https://GitHub.com/apache/airflow/issues/69052 互联网档案馆的存檔,存档日期2014-12-02. https://GitHub.com/apache/airflow/pull/66405 (英语).

操作系统

Debian GNU/Linux 12(书虫)

部署

官方 Apache Airflow Helm 图表

Apache 气流提供者

CNCF - Kubernetes (英语).

Apache 气流供应商的版本

apache-airflow-producers-amazon ==9.34.0 (英语).
. . . . . . .