收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Mediapartners-Google | Google AdSense | 网络爬虫 | 中(广告监测周期) | 浅(广告页面/监测点) | 遵守 | 活跃 |
| Infoseek Sidewinder | Infoseek | 网络爬虫 | 中(每周1次) | 浅(服务信息+订阅内容+民生数据) | 遵守 | 停用 |
| omgilibot | omgilibot | 网络爬虫 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| NetcraftSurveyAgent | NetcraftSurveyAgent | 网络爬虫 | 低(每月1次) | 浅(测试页面+API接口+性能数据) | 无视 | 活跃 |
| GigablastOpenSource | GigablastOpenSource | 网络爬虫 | 中(每日1次) | 深(全页面内容+链接+多媒体资源) | 遵守 | 活跃 |
| IndeedJobBot | IndeedJobBot | 网络爬虫 | 中高(5-10分钟/次) | 深层(抓取首页及三级以上页面) | 遵守 | 活跃 |
| psbot | psbot | 网络爬虫 | 极低(6-24小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| SabsimBot | Sabsim | 网络爬虫 | 极低(6-24小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| MetaJobBot | MetaJob | 网络爬虫 | 极低(6-24小时/次) | 全量(抓取网站所有可访问页面) | 遵守 | 停用 |
| Charlotte | Charlotte | 网络爬虫 | 低(1-6小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| WbSrch | WbSrch | 网络爬虫 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 停用 |
| Anthill | Anthill | 网络爬虫 | 极低(6-24小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 停用 |
| PrizmBot | PrizmBot | 网络爬虫 | 单域名 2–4 次 / 分钟 | 默认 2 层,最大 5 层 | 遵守 | 活跃 |
| JikibangBot | JikibangBot | 网络爬虫 | 单域名 1-3 次 / 分钟 | 默认 3 层,可配置 | 遵守 | 活跃 |
| NaverMapBot | NaverMapBot | 网络爬虫 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 活跃 |
| NaverWeatherBot | NaverWeatherBot | 网络爬虫 | 气象类页面每 1-3 小时 1 次,非气象页面极少访问 | 仅抓取根目录及气象数据相关子页面(深度≤2) | 遵守 | 停用 |
| TikiBot | TikiBot | 网络爬虫 | 中等,友好限速 | 类目页→商品详情页,2 层 | 遵守 | 活跃 |
| SendoSpider | SendoSpider | 网络爬虫 | 中等,限速访问 | 列表页→商品详情页,2 层 | 遵守 | 活跃 |
| VnexpressBot | VnexpressBot | 网络爬虫 | 低中速,单 IP 限速 25 次 / 小时 | 列表页→文章详情页,2 层 | 遵守 | 活跃 |
| ZingNewsBo | ZingNewsBo | 网络爬虫 | 中等,单 IP 限速 30 次 / 小时 | 列表页→详情页,2 层 | 遵守 | 活跃 |
| ShopeeLabs | Shopee | 网络爬虫 | 低中速,单 IP 限速 40 次 / 小时 | 类目页→商品详情页,2 层 | 遵守 | 活跃 |
| LazadaVNBot | LazadaVNBot | 网络爬虫 | 中等,单 IP 限速 60 次 / 小时 | 类目页→商品页,2 层 | 遵守 | 活跃 |
| BuhoBot | Buho | 网络爬虫 | 中(单 IP / 域名日均≤200 次请求) | 最大 5 层(可自定义限制) | 遵守 | 活跃 |
| AuyantepuiBot | Auyantepui | 网络爬虫 | 低(单 IP / 域名日均≤50 次请求) | 最大 3 层(仅抓取目标站点核心目录) | 遵守 | 活跃 |
| ChevereBot | Chevere | 网络爬虫 | 极低(6-24小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| PiranhaBot | Piranha | 网络爬虫 | 暂停(24小时以上) | 浅层(仅抓取首页及一级页面) | 无视 | 停用 |
| YuadaBot | Yuada | 网络爬虫 | 暂停(24小时以上) | 浅层(仅抓取首页及一级页面) | 无视 | 停用 |
| GobiernoVenezuelaBot | GobiernoVenezuela | 网络爬虫 | 极低(6-24小时/次) | 深层(抓取首页及三级以上页面) | 遵守 | 停用 |
| UCV-Crawler | UCV-Crawler | 网络爬虫 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 停用 |
| CONATEL-Bot | CONATEL-Bot | 网络爬虫 | 暂停(24小时以上) | 定向(仅抓取指定页面) | 遵守 | 停用 |