在执行模板之前对爬取的 URL 进行去重

每一行输入都被存储为一个独立的目标,仅删除完全相同的内容。{{BaseURL}} 会保留路径,因此同一主机上的两个 URL 会分别执行两次模板。首先对 URL 进行正则化:将主机转换为小写,删除片段和默认端口,去除结尾斜线,并删除跟踪参数。路径为 {{RootURL}} 或为 {{BaseURL}} 加上固定后缀的模板,将每个来源执行一次。请求爬取 URL 的模板会保留每个结构性指纹的一个代表:在路径中替换数字 ID、UUID、哈希值和日期,路径中若有多个不同值,则只保留一次,并将排序后的查询名称与值一起保留。如果在一个主机上有多个模式返回相同的正文,则停止为该主机添加模式。