搜狗搜索主力网页抓取程序,构建搜狗搜索索引
| IP 地址 | 爬虫名称 | 访问时间 |
|---|---|---|
| 103.85.86.180 | Sogou | 2026-09-02 01:48:48 |
| 105.160.79.104 | Sogou | 2026-04-03 21:15:43 |
| 111.221.143.80 | Sogou | 2026-05-24 18:36:25 |
| 111.94.50.78 | Sogou | 2026-04-03 21:16:09 |
| 112.80.97.66 | Sogou | 2026-08-29 02:24:44 |
| 112.82.218.177 | Sogou | 2026-07-07 13:09:04 |
| 112.86.225.100 | Sogou | 2026-05-09 04:57:46 |
| 112.86.225.101 | Sogou | 2026-08-21 04:11:51 |
| 112.86.225.102 | Sogou | 2026-06-14 13:34:54 |
| 112.86.225.103 | Sogou | 2026-03-10 04:49:27 |
通过网站根目录的 robots.txt 声明禁止该爬虫访问,简单标准;恶意爬虫会无视该规则。
在服务器配置中直接匹配爬虫 UA 返回 403,不消耗应用资源;需修改服务器配置。
通过 .htaccess 规则拦截指定 UA,无需修改主配置;仅适用于 Apache 服务器。
在 PHP 代码中判断访问者 UA,命中后返回 403,灵活可定制;会消耗应用服务器资源。
前端 JavaScript 检测 UA 并跳转 403 页面,简单易实现;高级爬虫可绕过(不执行 JS)。