收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| bitlybot | bitlybot | SEO分析 | 未知 | — | 无视 | 停用 |
| blogmuraBot | blogmuraBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Bot | Bot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| bot-pge | bot-pge | SEO分析 | 未知 | — | 无视 | 停用 |
| BoxcarBot | BoxcarBot | SEO分析 | 未知 | — | 无视 | 停用 |
| BTWebClient | BTWebClient | 通用工具 | 未知 | — | 无视 | 停用 |
| ContextAd | ContextAd | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Digincore | Digincore | SEO分析 | 未知 | — | 无视 | 停用 |
| Disqus | Disqus | SEO分析 | 未知 | — | 无视 | 停用 |
| Fetch | Fetch | SEO分析 | 未知 | — | 无视 | 停用 |
| Fever | Fever | 内容预览 | 未知 | — | 无视 | 停用 |
| Flamingo_SearchEngine | Flamingo_SearchEngine | 搜索引擎 | 未知 | — | 无视 | 停用 |
| g2reader-bot | g2reader-bot | 内容预览 | 未知 | — | 无视 | 停用 |
| imrbot | imrbot | SEO分析 | 未知 | — | 无视 | 停用 |
| K7MLWCBot | K7MLWCBot | 安全检测 | 未知 | — | 无视 | 停用 |
| Kemvibot | Kemvibot | SEO分析 | 未知 | — | 无视 | 停用 |
| Landau-Media-Spider | Landau-Media-Spider | SEO分析 | 未知 | — | 无视 | 停用 |
| linkapediabot | linkapediabot | SEO分析 | 未知 | — | 无视 | 停用 |
| Siteimprove | Siteimprove | 网站监测 | 未知 | — | 无视 | 停用 |
| DareBoost | DareBoost | 网站监测 | 未知 | — | 无视 | 停用 |
| ZuperlistBot | ZuperlistBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Miniflux | Miniflux | 内容预览 | 未知 | — | 无视 | 停用 |
| Feedspot | Feedspot | 内容预览 | 未知 | — | 无视 | 停用 |
| tracemyfile | tracemyfile | SEO分析 | 未知 | — | 无视 | 停用 |
| Nimbostratus-Bot | Nimbostratus-Bot | SEO分析 | 未知 | — | 无视 | 停用 |
| PR-CY | PR-CY | SEO分析 | 未知 | — | 无视 | 停用 |
| AdsTxtCrawler | AdsTxtCrawler | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Datafeedwatch | Datafeedwatch | SEO分析 | 未知 | — | 无视 | 停用 |
| Zabbix | Zabbix | 网站监测 | 未知 | — | 无视 | 停用 |
| TangibleeBot | TangibleeBot | SEO分析 | 未知 | — | 无视 | 停用 |