#2211·crawl4ai

在 HTTP 上, page_timeout 会默默地被限制为 60 秒,无法提高此值

作者: damusix创建于 2026年8月28日更新于 2026年9月14日
标签🐞 Bug⚙️ In-progress📌 Root caused
□ 问题 QQ-clamp uncusted ' caps `page timeout' 和 ' Wait for timeout' at MA-TIMEOUT MS = 60 000 ' 任何通过HTTP到达的配置。 Docker服务器通过`Provenance'. 在每个 " /crawl " 呼叫站点,一个要求更多服务的客户被默默地给予60多分——没有警告,也没有回应的栏目。 合法需要更长时间的一页总是以`Page.goto:超时60 000ms'失败,引用了打电话者从未发送的号码。 盖子本身对于公共服务器来说是合理的. 无法改变是问题所在:它不是在`config.yml'中,没有env var覆盖它,其值是一个模块级的字元. `crawler.base config' 看起来像是预定的出逃舱口,而不是-它应用了后去除法用'setatr',真正地绕过夹子,但只适用于'无'或'''的字段. `page timeout ' 总是背负着60000的默认值,所以设置它无所作为,沉默地。 □ 预期 运行自己集装箱的操作员可以提高上限——一个 " 容器 " ,一个 " 限制: " 与 " 墙 -- -- 钟 -- -- 秒 " 并进,或者一个也适用于违约的 " 基准 -- -- 配置 " 。 如果做不到这一点,一个被夹住的要求就应该这么说,而不是报告被打者没有要求的超时. □ 重复(Docker,0.9.2) 90后回复的服务器 : ``` ZZ 导入时间 从 http.server 导入 BaseHTTP 请求汉德勒, HTTPServer body = b"<-body>

<慢

>"+b"x"*600+b"

". H类( BaseHTTP 请求汉德勒) : def do GET( 自定义): 时间. sleep( 90) 自我. send response (200);自. send header ("Content-Length", str (len (BODY))");自. end headers () 自我.wfile.write(个人) HTTPServer ("0.0. 0.0", 8080), H. serve 永远 () ``` {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你觉得呢? Docker网络创建再Pro Docker 运行 -d --name slowsrv --network repro -v $PWD/slow server.py:/srv/s.py:ro Python:3.12-slim Python/s. Docker 运行 - d -- -- 名称 c4ai -- -- 网络重铺 - p 11235:11235 -- -- shm- sm- small=2gb \ -e CRAWL4AI API TOKEN=dev-token-e CRAWL4AI ALLOW INTERNAL URLS=真名伯克通码/crawl4ai:0.9.2 卷轴 - X POST http://localhost:11235/crawl -H '授权:熊熊之子' \ -H'内容类型:应用程序/json'\ -d"{"urls":["http://slowsrv:8080/"]","crawler config":{"page timeout":300000"等"等":"domcontent loaded""}}". ``` ** 在此之前——要求300人: ``` 60.7s中的HTTP 500 page.goto:超时60000ms ``` ** 之后** — 同一请求,针对用 QQMA TIMEOUT MS = 600 000 所建的图像: ``` 90.9s中的HTTP 200 成功: 真实的, 标记: "# slow page\nxxxxx..." ``` □ 建议补丁 使天花板可以配置而不是去除: ```8ZZ MAX TIMEOUT MS = int (os.environ.get ("CRAWL4AI MAX TIMEOUT MS, 60 000")). ``` a env var 保留一个公开部署的安全默认,同时让操作员为信任的操作员筹集. `配置.yml'中的`locks.max time-out ms'键与`wall hour s'相邻,将同样符合现有的'0'=无约束'公约。 另外,“ base config” 跳过非空默认字段令人惊讶 . . . . . . .

内容来源: unclecode/crawl4ai