如何自动检索需要通过现场搜索才能找到的 Web 资源,而不是仅仅递归爬取 URL?

我想问一个与数据采集有关的问题。最近，我正在处理一个需求：批量从发布于特定年份之前的网站收集文件、文档或历史资料。起初，我测试了一些常见的网页爬虫和“一键下载”工具，发现它们大多只适用于以下场景：