收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| MJ12bot | Majestic-12 | SEO分析 | 中(常规更新周期) | 中(服务相关页面) | 遵守 | 活跃 |
| AhrefsBot | Ahrefs bot | SEO分析 | 中(常规更新周期) | 中(服务相关页面) | 遵守 | 活跃 |
| SemrushBot | Semrush | SEO分析 | 中(常规更新周期) | 中(服务相关页面) | 遵守 | 活跃 |
| AhrefsCNSpider | AhrefsCNSpider | SEO分析 | 中(每周1次) | 浅(服务页面) | 遵守 | 活跃 |
| DotBot | Moz | SEO分析 | 中(每周1次) | 中(企业信息+产品数据+市场动态) | 遵守 | 活跃 |
| BLEXBot | BLEXBot | SEO分析 | 中(每周1次) | 浅(服务信息+订阅内容+民生数据) | 遵守 | 活跃 |
| SERankingBacklinksBot | SERanking | SEO分析 | 低(1-6小时/次) | 浅层(仅抓取首页及一级页面) | 遵守 | 活跃 |
| rogerbot | rogerbot | SEO分析 | 中 | 中 | 遵守 | 活跃 |
| SerpstatBot | SerpstatBot | SEO分析 | 中 | 深 | 遵守 | 活跃 |
| LinkpadBot | Linkpad | SEO分析 | 中 | 深 | 遵守 | 活跃 |
| SolomonoBot | Solomono | SEO分析 | 中 | 深 | 遵守 | 活跃 |
| SEOkicks | SEOkicks | SEO分析 | 中 | 深 | 遵守 | 活跃 |
| Sistrix | Sistrix | SEO分析 | 中 | 深 | 遵守 | 活跃 |
| DeepCrawl | DeepCrawl(Lumar) | SEO分析 | 按需(任务触发) | 深(全站抓取) | 遵守 | 活跃 |
| Screaming Frog SEO Spider | Screaming Frog | SEO分析 | 按需(手动触发) | 深(全站抓取) | 遵守 | 活跃 |
| Barkrowler | Babbar Barkrowler | SEO分析 | 中(每日) | 深 | 遵守 | 活跃 |
| SERankingBot | SERankingBot | SEO分析 | 中(每日) | 定向 | 遵守 | 活跃 |
| GingerCrawler | GingerCrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| netresearchserver | netresearchserver | SEO分析 | 未知 | — | 无视 | 停用 |
| findlink | findlink | SEO分析 | 未知 | — | 无视 | 停用 |
| ips-agent | ips-agent | SEO分析 | 未知 | — | 无视 | 停用 |
| buzzbot | buzzbot | SEO分析 | 未知 | — | 无视 | 停用 |
| mlbot | mlbot | SEO分析 | 未知 | — | 无视 | 停用 |
| spbot | spbot | SEO分析 | 未知 | — | 无视 | 停用 |
| twengabot | twengabot | SEO分析 | 未知 | — | 无视 | 停用 |
| postrank | postrank | SEO分析 | 未知 | — | 无视 | 停用 |
| sitebot | sitebot | SEO分析 | 未知 | — | 无视 | 停用 |
| linkdex | linkdex | SEO分析 | 未知 | — | 无视 | 停用 |
| ezooms | ezooms | SEO分析 | 未知 | — | 无视 | 停用 |
| NerdByNature | NerdByNature | SEO分析 | 未知 | — | 无视 | 停用 |