收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Better Uptime Bot | Better Stack | 网站监测 | 高(30秒-5分钟/次) | 定向 | 遵守 | 活跃 |
| HetrixTools | HetrixTools | 网站监测 | 高(1分钟/次) | 定向 | 遵守 | 活跃 |
| NewRelicPinger | New Relic | 网站监测 | 高(1分钟/次) | 定向 | 遵守 | 活跃 |
| Monitis | TeamViewer | 网站监测 | 高 | 定向 | 遵守 | 活跃 |
| Montastic | Montastic | 网站监测 | 中(10分钟/次) | 定向 | 遵守 | 活跃 |
| Hexometer | Hexometer | 网站监测 | 中(每日) | 中 | 遵守 | 活跃 |
| LuckyOrangeBot | Lucky Orange | 网站监测 | 中(会话触发) | 定向 | 遵守 | 活跃 |
| baiduboxapp | baiduboxapp | 浏览器爬虫 | 高(用户触发) | 中 | 遵守 | 活跃 |
| baidubrowser | baidubrowser | 浏览器爬虫 | 高(用户触发) | 中 | 遵守 | 活跃 |
| UCBrowser | UC(阿里) | 浏览器爬虫 | 高(用户触发) | 中 | 遵守 | 活跃 |
| PriceSpider | PriceSpider | 电商爬虫 | 中(每日) | 定向(商品页) | 遵守 | 活跃 |
| GittigidiyorBot | Gittigidiyor | 电商爬虫 | 中 | 定向(商品页) | 遵守 | 活跃 |
| FliggySpider | 飞猪(阿里) | 电商爬虫 | 中(每日) | 定向(商品页) | 遵守 | 活跃 |
| ia_archiver | ia_archiver | 学术蜘蛛 | 低 | 深 | 遵守 | 活跃 |
| archive.org_bot | archive.org_bot | 学术蜘蛛 | 中(持续存档) | 深(全量抓取) | 遵守 | 活跃 |
| special_archiver | special_archiver | 学术蜘蛛 | 中 | 深 | 遵守 | 活跃 |
| Heritrix | 互联网档案馆 | 学术蜘蛛 | 按需 | 深(全量抓取) | 遵守 | 活跃 |
| TurnitinBot | TurnitinBot | 学术蜘蛛 | 中(每周) | 深 | 遵守 | 活跃 |
| WanfangSpider | 万方数据 | 学术蜘蛛 | 中(每周) | 定向(学术页面) | 遵守 | 活跃 |
| ChinaGovBot | 中国政府网 | 服务爬虫 | 高(实时) | 定向(政务公开页) | 遵守 | 活跃 |
| NBS-Bot | 国家统计局 | 服务爬虫 | 中(每月) | 定向(数据发布页) | 遵守 | 活跃 |
| NLC-Crawler | 中国国家图书馆 | 学术蜘蛛 | 低(每周) | 深 | 遵守 | 活跃 |
| CAS-Bot | 中国科学院 | 学术蜘蛛 | 中(每日) | 定向 | 遵守 | 活跃 |
| PeopleDaily-Bot | 人民网 | 新闻媒体 | 高(实时) | 定向(新闻) | 遵守 | 活跃 |
| Xinhua-Bot | 新华社 | 新闻媒体 | 高(实时) | 定向(新闻) | 遵守 | 活跃 |
| CCTV-Bot | 中央广播电视总台 | 新闻媒体 | 高(实时) | 定向(新闻/视频) | 遵守 | 活跃 |
| USAGovBot | 美国政府(USAGov) | 服务爬虫 | 中(每日) | 深(政务公开页) | 遵守 | 活跃 |
| CensusGov-Bot | 美国人口普查局 | 服务爬虫 | 中(每月) | 定向(数据页) | 遵守 | 活跃 |
| BLS-Bot | 美国劳工统计局 | 服务爬虫 | 中(每月) | 定向 | 遵守 | 活跃 |
| LOC-Crawler | 美国国会图书馆 | 学术蜘蛛 | 低(每周) | 深 | 遵守 | 活跃 |