收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| ICDST BOT | ICDST BOT | 未分类 | — | — | 无视 | 停用 |
| mj-wordpress-crawler | mj-wordpress-crawler | 未分类 | — | — | 无视 | 停用 |
| Inspici | Inspici | 未分类 | — | — | 无视 | 停用 |
| Custom-AsyncHttpClient | Custom-AsyncHttpClient | 未分类 | — | — | 无视 | 停用 |
| NinjaAIBot | NinjaAIBot | 未分类 | — | — | 无视 | 停用 |
| your-search-bot | your-search-bot | 未分类 | — | — | 无视 | 停用 |
| Unknown Data bot | Unknown Data bot | 未分类 | — | — | 无视 | 停用 |
| vercel bot | vercel bot | 未分类 | — | — | 无视 | 停用 |
| More | More | 未分类 | — | — | 无视 | 停用 |
| Squiz bot | Squiz bot | 未分类 | — | — | 无视 | 停用 |
| iAsk.ai | iAsk.ai | 未分类 | — | — | 无视 | 停用 |
| Primals.net bot | Primals.net bot | 未分类 | — | — | 无视 | 停用 |
| PoeSearchBot | PoeSearchBot | 未分类 | — | — | 无视 | 停用 |
| peer39 crawler | peer39 crawler | 未分类 | — | — | 无视 | 停用 |
| RUB bot | RUB bot | 未分类 | — | — | 无视 | 停用 |
| TenMillionDomainsBot | TenMillionDomainsBot | 未分类 | — | — | 无视 | 停用 |
| Dormouse | Dormouse | 未分类 | — | — | 无视 | 停用 |
| Camo Asset Proxy | Camo Asset Proxy | 未分类 | — | — | 无视 | 停用 |
| Fellow Links Parser Robot | Fellow Links Parser Robot | 未分类 | — | — | 无视 | 停用 |
| go-camo | go-camo | 未分类 | — | — | 无视 | 停用 |
| PT Security bot | PT Security bot | 未分类 | — | — | 无视 | 停用 |
| Modat crawler | Modat crawler | 未分类 | — | — | 无视 | 停用 |
| GCore Labs crawler | GCore Labs crawler | 未分类 | — | — | 无视 | 停用 |
| gaeskeun_bot | gaeskeun_bot | 未分类 | — | — | 无视 | 停用 |
| PlamoExplorer | PlamoExplorer | 未分类 | — | — | 无视 | 停用 |
| opengeofeed.org crawler | opengeofeed.org crawler | 未分类 | — | — | 无视 | 停用 |
| WPMU DEV crawler | WPMU DEV crawler | 未分类 | — | — | 无视 | 停用 |
| Poggio crawler | Poggio crawler | 未分类 | — | — | 无视 | 停用 |
| Gulper Web Bot | Gulper Web Bot | 未分类 | — | — | 无视 | 停用 |
| York University crawler | York University crawler | 未分类 | — | — | 无视 | 停用 |