收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| WeChatBot | 微信机器人 | 服务爬虫 | 中(每周1次) | 浅(服务信息+订阅内容+民生数据) | 遵守 | 活跃 |
| mpcrawler | mpcrawler | 服务爬虫 | 极低(每 3–7 天一次) | 递归抓取所有可访问页面 | 遵守 | 活跃 |
| APIs-Google | APIs-Google | 服务爬虫 | 低(按需) | 定向 | 遵守 | 活跃 |
| Google-Safety | Google-Safety | 服务爬虫 | 低 | 定向 | 遵守 | 活跃 |
| Google Read Aloud | Google Read Aloud | 服务爬虫 | 低(按需) | 定向 | 遵守 | 活跃 |
| YandexFavicons | YandexFavicons | 服务爬虫 | 低(每周) | 定向(favicon) | 遵守 | 活跃 |
| YandexAccessibilityBot | YandexAccessibilityBot | 服务爬虫 | 低 | 定向 | 遵守 | 活跃 |
| YandexCalendar | YandexCalendar | 服务爬虫 | 低 | 定向 | 遵守 | 活跃 |
| YandexVerticals | YandexVerticals | 服务爬虫 | 中 | 定向 | 遵守 | 活跃 |
| YandexForDomain | YandexForDomain | 服务爬虫 | 低 | 定向 | 遵守 | 活跃 |
| Baiduspider-lbs | Baiduspider-lbs | 服务爬虫 | 中 | 定向(本地商户页) | 遵守 | 活跃 |
| Baiduspider-favo | Baiduspider-favo | 服务爬虫 | 低(按需) | 定向 | 遵守 | 活跃 |
| Sogou inst spider | Sogou inst spider | 服务爬虫 | 中 | 定向 | 遵守 | 活跃 |
| ChinaGovBot | 中国政府网 | 服务爬虫 | 高(实时) | 定向(政务公开页) | 遵守 | 活跃 |
| NBS-Bot | 国家统计局 | 服务爬虫 | 中(每月) | 定向(数据发布页) | 遵守 | 活跃 |
| USAGovBot | 美国政府(USAGov) | 服务爬虫 | 中(每日) | 深(政务公开页) | 遵守 | 活跃 |
| CensusGov-Bot | 美国人口普查局 | 服务爬虫 | 中(每月) | 定向(数据页) | 遵守 | 活跃 |
| BLS-Bot | 美国劳工统计局 | 服务爬虫 | 中(每月) | 定向 | 遵守 | 活跃 |
| NOAA-Bot | 美国国家海洋和大气管理局 | 服务爬虫 | 中(每小时) | 定向 | 遵守 | 活跃 |
| NASA-Bot | 美国宇航局 | 服务爬虫 | 中(每日) | 定向 | 遵守 | 活跃 |
| UKGovBot | 英国政府(GOV.UK) | 服务爬虫 | 中(每日) | 深 | 遵守 | 活跃 |
| ONS-Bot | 英国国家统计局 | 服务爬虫 | 中(每月) | 定向 | 遵守 | 活跃 |
| MetOffice-Bot | 英国气象局 | 服务爬虫 | 高(每小时) | 定向 | 遵守 | 活跃 |
| CanadaGovBot | 加拿大政府 | 服务爬虫 | 中(每日) | 深 | 遵守 | 活跃 |
| StatCan-Bot | 加拿大统计局 | 服务爬虫 | 中(每月) | 定向 | 遵守 | 活跃 |
| AustraliaGovBot | 澳大利亚政府 | 服务爬虫 | 中(每日) | 深 | 遵守 | 活跃 |
| ABS-Bot | 澳大利亚统计局 | 服务爬虫 | 中(每月) | 定向 | 遵守 | 活跃 |
| EUROPABot | 欧盟委员会 | 服务爬虫 | 中(每日) | 深 | 遵守 | 活跃 |
| Eurostat-Bot | 欧盟统计局 | 服务爬虫 | 中(每月) | 定向 | 遵守 | 活跃 |
| DeutschlandGovBot | 德国政府 | 服务爬虫 | 中(每日) | 深 | 遵守 | 活跃 |