收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| WatsonBot | WatsonBot | 未分类 | — | — | 无视 | 停用 |
| AzureBot | AzureBot | 未分类 | — | — | 无视 | 停用 |
| BingAIBot | BingAIBot | 未分类 | — | — | 无视 | 停用 |
| GoogleAIStudioBot | GoogleAIStudioBot | 未分类 | — | — | 无视 | 停用 |
| StatistaBot | StatistaBot | 未分类 | — | — | 无视 | 停用 |
| WorldBankBot | WorldBankBot | 未分类 | — | — | 无视 | 停用 |
| UNBot | UNBot | 未分类 | — | — | 无视 | 停用 |
| OECD-Bot | OECD-Bot | 未分类 | — | — | 无视 | 停用 |
| EU-Bot | EU-Bot | 未分类 | — | — | 无视 | 停用 |
| USAGov-Bot | USAGov-Bot | 未分类 | — | — | 无视 | 停用 |
| UKGov-Bot | UKGov-Bot | 未分类 | — | — | 无视 | 停用 |
| CanadaGov-Bot | CanadaGov-Bot | 未分类 | — | — | 无视 | 停用 |
| AustraliaGov-Bot | AustraliaGov-Bot | 未分类 | — | — | 无视 | 停用 |
| JapanGov-Bot | JapanGov-Bot | 未分类 | — | — | 无视 | 停用 |
| KoreaGov-Bot | KoreaGov-Bot | 未分类 | — | — | 无视 | 停用 |
| HKUL-Crawler | HKUL-Crawler | 未分类 | — | — | 无视 | 停用 |
| NLM-Crawler | NLM-Crawler | 未分类 | — | — | 无视 | 停用 |
| Sogouspider-Video | Sogouspider-Video | 未分类 | — | — | 无视 | 停用 |
| Bytespider-Video | Bytespider-Video | 未分类 | — | — | 无视 | 停用 |
| YouTube-Embed | YouTube-Embed | 未分类 | — | — | 无视 | 停用 |
| Vimeo-Embed | Vimeo-Embed | 未分类 | — | — | 无视 | 停用 |
| TwitchBot | TwitchBot | 未分类 | — | — | 无视 | 停用 |
| FacebookVideoBot | FacebookVideoBot | 未分类 | — | — | 无视 | 停用 |
| InstagramVideoBot | InstagramVideoBot | 未分类 | — | — | 无视 | 停用 |
| TwitterVideoBot | TwitterVideoBot | 未分类 | — | — | 无视 | 停用 |
| DouyinBot | DouyinBot | 未分类 | — | — | 无视 | 停用 |
| KuaishouBot | KuaishouBot | 未分类 | — | — | 无视 | 停用 |
| iQiYiBot | iQiYiBot | 未分类 | — | — | 无视 | 停用 |
| TencentVideoBot | TencentVideoBot | 未分类 | — | — | 无视 | 停用 |
| YoukuBot | YoukuBot | 未分类 | — | — | 无视 | 停用 |