无法获取的 robots.txt 会被缓存为整个运行的 allow-all
作者: rawsun007创建于 2026年9月4日更新于 2026年9月4日
import anyio from types import SimpleNamespace from scrapling.spiders.robotstxt import RobotsTxtManager
内容来源: D4Vinci/Scrapling
import anyio from types import SimpleNamespace from scrapling.spiders.robotstxt import RobotsTxtManager
内容来源: D4Vinci/Scrapling