收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| GloomarBot | GloomarBot | 未分类 | — | — | 无视 | 停用 |
| NeumobBot | NeumobBot | 未分类 | — | — | 无视 | 停用 |
| GOFORITBOT | GOFORITBOT | 未分类 | — | — | 无视 | 停用 |
| WillyBot | WillyBot | 未分类 | — | — | 无视 | 停用 |
| DER-bot | DER-bot | 未分类 | — | — | 无视 | 停用 |
| Opendi Bot | Opendi Bot | 未分类 | — | — | 无视 | 停用 |
| BusinessSeek.biz | BusinessSeek.biz | 未分类 | — | — | 无视 | 停用 |
| argenfybot | argenfybot | 未分类 | — | — | 无视 | 停用 |
| ltbot | ltbot | 未分类 | — | — | 无视 | 停用 |
| SiteAnalyzerBot | SiteAnalyzerBot | 未分类 | — | — | 无视 | 停用 |
| nic.it crawler | nic.it crawler | 未分类 | — | — | 无视 | 停用 |
| aboutthedomain | aboutthedomain | 未分类 | — | — | 无视 | 停用 |
| HybridBot | HybridBot | 未分类 | — | — | 无视 | 停用 |
| RankvalBot | RankvalBot | 未分类 | — | — | 无视 | 停用 |
| Audisto Crawler | Audisto Crawler | 未分类 | — | — | 无视 | 停用 |
| studylib bot | studylib bot | 未分类 | — | — | 无视 | 停用 |
| Dex Media Bot | Dex Media Bot | 未分类 | — | — | 无视 | 停用 |
| Shareaholicbot | Shareaholicbot | 未分类 | — | — | 无视 | 停用 |
| SeoCheckBot | SeoCheckBot | 未分类 | — | — | 无视 | 停用 |
| DomainTunoCrawler | DomainTunoCrawler | 未分类 | — | — | 无视 | 停用 |
| SmabblerBot | SmabblerBot | 未分类 | — | — | 无视 | 停用 |
| CERT.at-Statistics-Survey | CERT.at-Statistics-Survey | 未分类 | — | — | 无视 | 停用 |
| Braintree-Webhooks | Braintree-Webhooks | 未分类 | — | — | 无视 | 停用 |
| mfibot | mfibot | 未分类 | — | — | 无视 | 停用 |
| Digg Deeper | Digg Deeper | 未分类 | — | — | 无视 | 停用 |
| Statastico | Statastico | 未分类 | — | — | 无视 | 停用 |
| Web-Monitoring | Web-Monitoring | 未分类 | — | — | 无视 | 停用 |
| AdnormCrawler | AdnormCrawler | 未分类 | — | — | 无视 | 停用 |
| OmniExplorer_Bot | OmniExplorer_Bot | 未分类 | — | — | 无视 | 停用 |
| MaxPointCrawler | MaxPointCrawler | 未分类 | — | — | 无视 | 停用 |