收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| ShortPixel.com crawler | ShortPixel.com crawler | 未分类 | — | — | 无视 | 停用 |
| domainsbot | domainsbot | 未分类 | — | — | 无视 | 停用 |
| kakao crawler | kakao crawler | 未分类 | — | — | 无视 | 停用 |
| SE Ranking bot | SE Ranking bot | 未分类 | — | — | 无视 | 停用 |
| Prerender.cloud | Prerender.cloud | 未分类 | — | — | 无视 | 停用 |
| alyze.com bot | alyze.com bot | 未分类 | — | — | 无视 | 停用 |
| Proxyscotch | Proxyscotch | 未分类 | — | — | 无视 | 停用 |
| snapchat-proxy | snapchat-proxy | 未分类 | — | — | 无视 | 停用 |
| DIVD crawler | DIVD crawler | 未分类 | — | — | 无视 | 停用 |
| Checkmarx bot | Checkmarx bot | 未分类 | — | — | 无视 | 停用 |
| GG bot | GG bot | 未分类 | — | — | 无视 | 停用 |
| ScamadviserExternalHit | ScamadviserExternalHit | 未分类 | — | — | 无视 | 停用 |
| centurybot9 | centurybot9 | 未分类 | — | — | 无视 | 停用 |
| getthit.com | getthit.com | 未分类 | — | — | 无视 | 停用 |
| Mediumbot | Mediumbot | 未分类 | — | — | 无视 | 停用 |
| sempi.tech bot | sempi.tech bot | 未分类 | — | — | 无视 | 停用 |
| Tomba Crawler | Tomba Crawler | 未分类 | — | — | 无视 | 停用 |
| sc_bot | sc_bot | 未分类 | — | — | 无视 | 停用 |
| Substack crawler | Substack crawler | 未分类 | — | — | 无视 | 停用 |
| Wheregoes bot | Wheregoes bot | 未分类 | — | — | 无视 | 停用 |
| Testomatobot | Testomatobot | 未分类 | — | — | 无视 | 停用 |
| KlarnaBot | KlarnaBot | 未分类 | — | — | 无视 | 停用 |
| Remotasks bot | Remotasks bot | 未分类 | — | — | 无视 | 停用 |
| V-BOT | V-BOT | 未分类 | — | — | 无视 | 停用 |
| Closure Compiler Service | Closure Compiler Service | 未分类 | — | — | 无视 | 停用 |
| Robots_Tester | Robots_Tester | 未分类 | — | — | 无视 | 停用 |
| Taringa | Taringa | 未分类 | — | — | 无视 | 停用 |
| Zaldomo Bot | Zaldomo Bot | 未分类 | — | — | 无视 | 停用 |
| hyScore.io crawler | hyScore.io crawler | 未分类 | — | — | 无视 | 停用 |
| DownloaderChrome | DownloaderChrome | 未分类 | — | — | 无视 | 停用 |