收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| ZuperlistBot | ZuperlistBot | SEO分析 | 未知 | — | 无视 | 停用 |
| tracemyfile | tracemyfile | SEO分析 | 未知 | — | 无视 | 停用 |
| Nimbostratus-Bot | Nimbostratus-Bot | SEO分析 | 未知 | — | 无视 | 停用 |
| PR-CY | PR-CY | SEO分析 | 未知 | — | 无视 | 停用 |
| Datafeedwatch | Datafeedwatch | SEO分析 | 未知 | — | 无视 | 停用 |
| TangibleeBot | TangibleeBot | SEO分析 | 未知 | — | 无视 | 停用 |
| CloudFlare-Prefetch | CloudFlare-Prefetch | SEO分析 | 未知 | — | 无视 | 停用 |
| WebDataStats | WebDataStats | SEO分析 | 未知 | — | 无视 | 停用 |
| ZoomBot | ZoomBot | SEO分析 | 未知 | — | 无视 | 停用 |
| MoodleBot | MoodleBot | SEO分析 | 未知 | — | 无视 | 停用 |
| jpg-newsbot | jpg-newsbot | SEO分析 | 未知 | — | 无视 | 停用 |
| ICBot | ICBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Twingly | Twingly | SEO分析 | 未知 | — | 无视 | 停用 |
| Rivva | Rivva | SEO分析 | 未知 | — | 无视 | 停用 |
| awesomecrawler | awesomecrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| Dataprovider | Dataprovider | SEO分析 | 未知 | — | 无视 | 停用 |
| GroupHigh | GroupHigh | SEO分析 | 未知 | — | 无视 | 停用 |
| 2ip | 2ip | SEO分析 | 未知 | — | 无视 | 停用 |
| Caliperbot | Caliperbot | SEO分析 | 未知 | — | 无视 | 停用 |
| MBCrawler | MBCrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| online-webceo-bot | online-webceo-bot | SEO分析 | 未知 | — | 无视 | 停用 |
| B2B | B2B | SEO分析 | 未知 | — | 无视 | 停用 |
| HubSpot | HubSpot | SEO分析 | 未知 | — | 无视 | 停用 |
| MixnodeCache | MixnodeCache | SEO分析 | 未知 | — | 无视 | 停用 |
| SimpleScraper | SimpleScraper | SEO分析 | 未知 | — | 无视 | 停用 |
| RegionStuttgartBot | RegionStuttgartBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Datanyze | Datanyze | SEO分析 | 未知 | — | 无视 | 停用 |
| TrendsmapResolver | TrendsmapResolver | SEO分析 | 未知 | — | 无视 | 停用 |
| tweetedtimes | tweetedtimes | SEO分析 | 未知 | — | 无视 | 停用 |
| SearchAtlas | SearchAtlas | SEO分析 | 未知 | — | 无视 | 停用 |