拦截 Chrome Privacy Preserving Prefetch Proxy 的方法
五种方案按拦截强度与部署成本选择
1. robots.txt 禁止(标准方式,仅对合规爬虫有效)
通过网站根目录的 robots.txt 声明禁止该爬虫访问,简单标准;恶意爬虫会无视该规则。
2. Nginx / Apache 根据 UA 拉黑(服务器级拦截,效率高)
在服务器配置中直接匹配爬虫 UA 返回 403,不消耗应用资源;需修改服务器配置。
3. .htaccess 禁止(Apache 专属,虚拟主机常用)
通过 .htaccess 规则拦截指定 UA,无需修改主配置;仅适用于 Apache 服务器。
4. PHP / 后端判断 UA 拦截(灵活定制,适配所有环境)
在 PHP 代码中判断访问者 UA,命中后返回 403,灵活可定制;会消耗应用服务器资源。
5. JS 屏蔽(前端拦截,仅挡普通爬虫)
前端 JavaScript 检测 UA 并跳转 403 页面,简单易实现;高级爬虫可绕过(不执行 JS)。