收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Link Valet Online | Link Valet Online | 未分类 | — | — | 无视 | 停用 |
| Zoom crawler | Zoom crawler | 未分类 | — | — | 无视 | 停用 |
| JAHHO crawler | JAHHO crawler | 未分类 | — | — | 无视 | 停用 |
| DigitalPebble bot | DigitalPebble bot | 未分类 | — | — | 无视 | 停用 |
| wmtips.com | wmtips.com | 未分类 | — | — | 无视 | 停用 |
| Awario crawler | Awario crawler | 未分类 | — | — | 无视 | 停用 |
| BrandProtect bot | BrandProtect bot | 未分类 | — | — | 无视 | 停用 |
| Baispider | Baispider | 未分类 | — | — | 无视 | 停用 |
| ThinkChaos | ThinkChaos | 未分类 | — | — | 无视 | 停用 |
| TTD crawler | TTD crawler | 未分类 | — | — | 无视 | 停用 |
| IPIP.NET crawler | IPIP.NET crawler | 未分类 | — | — | 无视 | 停用 |
| Crissy Field bot | Crissy Field bot | 未分类 | — | — | 无视 | 停用 |
| Pro Sitemaps Generator | Pro Sitemaps Generator | 未分类 | — | — | 无视 | 停用 |
| Birdcrawlerbot | Birdcrawlerbot | 未分类 | — | — | 无视 | 停用 |
| Webcron.org crawler | Webcron.org crawler | 未分类 | — | — | 无视 | 停用 |
| Hinnavaatlus bot | Hinnavaatlus bot | 未分类 | — | — | 无视 | 停用 |
| HetrixTools crawler | HetrixTools crawler | 未分类 | — | — | 无视 | 停用 |
| Wikipedia crawler | Wikipedia crawler | 未分类 | — | — | 无视 | 停用 |
| TorusBot | TorusBot | 未分类 | — | — | 无视 | 停用 |
| iGooglePortal | iGooglePortal | 未分类 | — | — | 无视 | 停用 |
| wowLink Crawler | wowLink Crawler | 未分类 | — | — | 无视 | 停用 |
| historious | historious | 未分类 | — | — | 无视 | 停用 |
| Roistat Bot | Roistat Bot | 未分类 | — | — | 无视 | 停用 |
| Opengraph.io bot | Opengraph.io bot | 未分类 | — | — | 无视 | 停用 |
| bne.es crawler | bne.es crawler | 未分类 | — | — | 无视 | 停用 |
| Ns.Tools Bot | Ns.Tools Bot | 未分类 | — | — | 无视 | 停用 |
| HM Seclab crawler | HM Seclab crawler | 未分类 | — | — | 无视 | 停用 |
| Webshot | Webshot | 未分类 | — | — | 无视 | 停用 |
| SiteCheckerBot | SiteCheckerBot | 未分类 | — | — | 无视 | 停用 |
| intelx.io_bot | intelx.io_bot | 未分类 | — | — | 无视 | 停用 |