动态分区 + 管理 python loggers 导致 dagster 挂起
作者: OrenLederman创建于 2025年9月18日更新于 2026年9月18日
标签type: bugstale
有什么问题吗?
当使用在 dagster.yaml 和 SQLite 存储(默认)中配置的有管理的 python loggers 的动态分区时,Dagster 在资产输出后挂起. 这是它显示的最后一张日志:
ield 输出"结果"类型"[xxxx]". (Type检查通过).py-spy 堆放提供了以下堆放:
连通(dagster/ core/ storage/event log/sqlite/sqlite event log.py:225).
enter (contextlib.py:135) (中文(简体) ).
start event (dagster/ core/ storage/event log/sqlite/sqlite event log.py:257) 存储器 存储器 存储器
handle new event (dagster/ core/intance/ init .py:2463) (中文(简体) ).
发射(大调/ 分调/ init .py:261)
手柄(logb/ init .py:968)
发射( dagster/ core/ log manager. py: 268)
手柄(logb/ init .py:968)
(原始内容存档于2017-09-21). com.
手柄( logb/ init .py: 1634)
log (博客/ init .py:1624).
腾讯 (博客/ init .py:1477).
init (阿伦比克语/运行时间/迁移.py:207)
配置(阿伦比克/运行时间/迁移.py:273)
检查 alembic 修订版(dagster/ core/ storage/sql.py:73)
initdb (dagster/ core/ storage/event log/sqlite/sqlite event log.py:179) (中文(简体) ).
连通(dagster/ core/ storage/event log/sqlite/sqlite event log.py:232) 互联网档案馆的存檔,存档日期2013-12-2.
enter (contextlib.py:135) (中文(简体) ).
有 动态 分区(dagster/ core/储存/event log/sql event log.py:2098)
(dagster/ core/intance/ init .py:2385) (中文(简体) ).
内(dagster/ utils/ init .py:691)
有 partition key (dagster/ core/ 定义/partition.py: 559)
获取 partition keys in range(dagster/ core/定义/partition.py:176)
资产 partition keys(dagster/ core/execution/context/output.py:489) 资产 partition keys(dagster/ core/execution/context/output.
get paths for partitions (dagster/ core/ storage/upath io manager.py:242) (中文(简体) ).
handle output (dagster/ core/ storage/upath io manager.py:431) (中文(简体) ).
gen fn (dagster/ core/execution/plan/execut step.py:767) (中文(简体) ).
iterate with context (dagster/ utils/ init .py: 480) (英语).
储存 输出(dagster/ core/execution/plan/execut step.py:776)
类型 检查 和 存储 输出(dagster/ core/execution/plan/execut step.py:554)
core dagster event sequence for step (dagster/ core/execution/plan/execut step.py:508) (中文(简体) ).
dagster event sequence for step (dagster/ core/execution/plan/execut plan.py:245) 命令执行 命令执行 命令执行
内部 计划 执行 执行器( dagster/ core/ 执行/ 执行/ 执行 计划. py: 87)
iter (dagster/ core/execution/api.py:869) (中文(简体) ).
执行( dagster/ core/ executor/ multi process.py: 97)
执行 command in child 进程 (dagster/ core/executor/child process executor.py:81)
运行(多处理/进程.py:108)
bootstrap(多处理/进程.py:314)
main(多处理/发泡.py:129)
产卵基(多加工/发泡.py:116)
< 模块 > ( < 字符串 > : 1)
线索 0x16E05700 (idle):"QueeFeeder Thread"
等待( 有线. py: 320)
feed(多处理/排队.py:231)
运行( 线程. py: 953)
bootstrap inner (threading.py:1016) (英语).
bootstrap (线条.py:973)
线索 0x16F063000(idle):
. . . . . . .内容来源: dagster-io/dagster