收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| botify | botify | SEO分析 | 未知 | — | 无视 | 停用 |
| 007ac9 | 007ac9 | SEO分析 | 未知 | — | 无视 | 停用 |
| BehloolBot | BehloolBot | SEO分析 | 未知 | — | 无视 | 停用 |
| BrandVerity | BrandVerity | SEO分析 | 未知 | — | 无视 | 停用 |
| BDCbot | BDCbot | SEO分析 | 未知 | — | 无视 | 停用 |
| EZID | EZID | SEO分析 | 未知 | — | 无视 | 停用 |
| BLP_bbot | BLP_bbot | SEO分析 | 未知 | — | 无视 | 停用 |
| BomboraBot | BomboraBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Companybook-Crawler | Companybook-Crawler | SEO分析 | 未知 | — | 无视 | 停用 |
| Genieo | Genieo | SEO分析 | 未知 | — | 无视 | 停用 |
| magpie-crawler | magpie-crawler | SEO分析 | 未知 | — | 无视 | 停用 |
| MeltwaterNews | MeltwaterNews | SEO分析 | 未知 | — | 无视 | 停用 |
| Moreover | Moreover | SEO分析 | 未知 | — | 无视 | 停用 |
| ScoutJet | ScoutJet | SEO分析 | 未知 | — | 无视 | 停用 |
| StorygizeBot | StorygizeBot | SEO分析 | 未知 | — | 无视 | 停用 |
| seoscanners | seoscanners | SEO分析 | 未知 | — | 无视 | 停用 |
| MauiBot | MauiBot | SEO分析 | 未知 | — | 无视 | 停用 |
| AlphaBot | AlphaBot | SEO分析 | 未知 | — | 无视 | 停用 |
| acapbot | acapbot | SEO分析 | 未知 | — | 无视 | 停用 |
| bitlybot | bitlybot | SEO分析 | 未知 | — | 无视 | 停用 |
| blogmuraBot | blogmuraBot | SEO分析 | 未知 | — | 无视 | 停用 |
| bot-pge | bot-pge | SEO分析 | 未知 | — | 无视 | 停用 |
| BoxcarBot | BoxcarBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Digincore | Digincore | SEO分析 | 未知 | — | 无视 | 停用 |
| Disqus | Disqus | SEO分析 | 未知 | — | 无视 | 停用 |
| Fetch | Fetch | SEO分析 | 未知 | — | 无视 | 停用 |
| imrbot | imrbot | SEO分析 | 未知 | — | 无视 | 停用 |
| Kemvibot | Kemvibot | SEO分析 | 未知 | — | 无视 | 停用 |
| Landau-Media-Spider | Landau-Media-Spider | SEO分析 | 未知 | — | 无视 | 停用 |
| linkapediabot | linkapediabot | SEO分析 | 未知 | — | 无视 | 停用 |