safe_requests_get 会将不包含字符集的 UTF-8 页面解码为 ISO-8859-1,从而破坏所有带有加强符号的字符

总结 url_safety.safe_requests_get 返回一个 requests.Response 对象,其 .text 以 ISO-8859-1 编码解码,只要服务器发送了 text/* Content-Type 但没有 charset 参数。文档中的 <meta charset="UTF-8"> 将被忽略,因此所有非 ASCII 字符都会变成 mojibake。 这影响了使用工具包进行审计的每个非英文网站。在一个法语页面上,Specialiste (带有带尖的 e) 会被翻译成 é 序列。