收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| BrandVerity | BrandVerity | SEO分析 | 未知 | — | 无视 | 停用 |
| check_http | check_http | 网站监测 | 未知 | — | 无视 | 停用 |
| BDCbot | BDCbot | SEO分析 | 未知 | — | 无视 | 停用 |
| ZumBot | ZumBot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| EZID | EZID | SEO分析 | 未知 | — | 无视 | 停用 |
| ArchiveBot | ArchiveBot | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| filterdb | filterdb | 安全检测 | 未知 | — | 无视 | 停用 |
| BLP_bbot | BLP_bbot | SEO分析 | 未知 | — | 无视 | 停用 |
| BomboraBot | BomboraBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Buck | Buck | 网站监测 | 未知 | — | 无视 | 停用 |
| Companybook-Crawler | Companybook-Crawler | SEO分析 | 未知 | — | 无视 | 停用 |
| Genieo | Genieo | SEO分析 | 未知 | — | 无视 | 停用 |
| magpie-crawler | magpie-crawler | SEO分析 | 未知 | — | 无视 | 停用 |
| MeltwaterNews | MeltwaterNews | SEO分析 | 未知 | — | 无视 | 停用 |
| Moreover | Moreover | SEO分析 | 未知 | — | 无视 | 停用 |
| newspaper | newspaper | 通用工具 | 未知 | — | 无视 | 停用 |
| ScoutJet | ScoutJet | SEO分析 | 未知 | — | 无视 | 停用 |
| StorygizeBot | StorygizeBot | SEO分析 | 未知 | — | 无视 | 停用 |
| OutclicksBot | OutclicksBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| seoscanners | seoscanners | SEO分析 | 未知 | — | 无视 | 停用 |
| Hatena | Hatena | 链接预览 | 未知 | — | 无视 | 停用 |
| Google bot | 链接预览 | 未知 | — | 无视 | 停用 | |
| MauiBot | MauiBot | SEO分析 | 未知 | — | 无视 | 停用 |
| AlphaBot | AlphaBot | SEO分析 | 未知 | — | 无视 | 停用 |
| SBL-BOT | SBL-BOT | 安全检测 | 未知 | — | 无视 | 停用 |
| IAS | IAS | 服务爬虫 | 未知 | — | 无视 | 停用 |
| adscanner | adscanner | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Netvibes | Netvibes | 内容预览 | 未知 | — | 无视 | 停用 |
| acapbot | acapbot | SEO分析 | 未知 | — | 无视 | 停用 |
| Baidu-YunGuanCe | Baidu-YunGuanCe | 网站监测 | 未知 | — | 无视 | 停用 |