收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| downforeveryoneorjustme | downforeveryoneorjustme | 未分类 | — | — | 无视 | 停用 |
| Google-Publisher-Plugin | Google-Publisher-Plugin | 未分类 | — | — | 无视 | 停用 |
| Morfeus Fucking Scanner | Morfeus Fucking Scanner | 未分类 | — | — | 无视 | 停用 |
| RadioPublicImageResizer | RadioPublicImageResizer | 未分类 | — | — | 无视 | 停用 |
| ultimate_sitemap_parser | ultimate_sitemap_parser | 未分类 | — | — | 无视 | 停用 |
| Google-Calendar-Importer | Google-Calendar-Importer | 未分类 | — | — | 无视 | 停用 |
| postfix-mta-sts-resolver | postfix-mta-sts-resolver | 未分类 | — | — | 无视 | 停用 |
| XaxisSemanticsClassifier | XaxisSemanticsClassifier | 未分类 | — | — | 无视 | 停用 |
| Alibaba.Security.Heimdall | Alibaba.Security.Heimdall | 未分类 | — | — | 无视 | 停用 |
| searchenginepromotionhelp | searchenginepromotionhelp | 未分类 | — | — | 无视 | 停用 |
| UrlTrends Ranking Updater | UrlTrends Ranking Updater | 未分类 | — | — | 无视 | 停用 |
| Google-Transparency-Report | Google-Transparency-Report | 未分类 | — | — | 无视 | 停用 |
| IDG Twitter Links Resolver | IDG Twitter Links Resolver | 未分类 | — | — | 无视 | 停用 |
| ScopeContentAG-HTTP-Client | ScopeContentAG-HTTP-Client | 未分类 | — | — | 无视 | 停用 |
| dotMailer content retrieval | dotMailer content retrieval | 未分类 | — | — | 无视 | 停用 |
| InfoWizards Reciprocal Link | InfoWizards Reciprocal Link | 未分类 | — | — | 无视 | 停用 |
| via ggpht.com GoogleImageProxy | via ggpht.com GoogleImageProxy | 未分类 | — | — | 无视 | 停用 |
| Amazon-Route53-Health-Check-Service | Amazon-Route53-Health-Check-Service | 未分类 | — | — | 无视 | 停用 |
| WindowsNetworkDiagnostics | WindowsNetworkDiagnostics | 未分类 | — | — | 无视 | 停用 |
| Amazon Simple Notification Service Agent | Amazon Simple Notification Service Agent | 未分类 | — | — | 无视 | 停用 |
| InfoWizards Site Analyzer | InfoWizards Site Analyzer | 未分类 | — | — | 无视 | 停用 |
| Naver Cafebot | Naver Cafebot | 未分类 | — | — | 无视 | 停用 |
| Google-Adwords-DisplayAds-WebRender | Google-Adwords-DisplayAds-WebRender | 未分类 | — | — | 无视 | 停用 |
| Nexgate Python Client | Nexgate Python Client | 未分类 | — | — | 无视 | 停用 |
| Nexgate Node.js Client | Nexgate Node.js Client | 未分类 | — | — | 无视 | 停用 |
| Nexgate Java Client | Nexgate Java Client | 未分类 | — | — | 无视 | 停用 |
| Baiduspider-sfkr | Baiduspider-sfkr | 未分类 | — | — | 无视 | 停用 |
| HuihuiSpider | HuihuiSpider | 未分类 | — | — | 无视 | 停用 |
| GwdangSpider | GwdangSpider | 未分类 | — | — | 无视 | 停用 |
| WochachaSpider | WochachaSpider | 未分类 | — | — | 无视 | 停用 |