收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Zermelo | Zermelo | 未分类 | — | — | 无视 | 停用 |
| Y!J-DLC | Y!J-DLC | 未分类 | — | — | 无视 | 停用 |
| Y!J-BRW | Y!J-BRW | 未分类 | — | — | 无视 | 停用 |
| Y!J-BRJ | Y!J-BRJ | 未分类 | — | — | 无视 | 停用 |
| Y!J-ASR | Y!J-ASR | 未分类 | — | — | 无视 | 停用 |
| XMLHTTP | XMLHTTP | 未分类 | — | — | 无视 | 停用 |
| Windows | Windows | 未分类 | — | — | 无视 | 停用 |
| Whynder | Whynder | 未分类 | — | — | 无视 | 停用 |
| WGETbot | WGETbot | 未分类 | — | — | 无视 | 停用 |
| Website | Website | 未分类 | — | — | 无视 | 停用 |
| websays | websays | 未分类 | — | — | 无视 | 停用 |
| Visited | Visited | 未分类 | — | — | 无视 | 停用 |
| uCrawlr | uCrawlr | 未分类 | — | — | 无视 | 停用 |
| Twisted | Twisted | 未分类 | — | — | 无视 | 停用 |
| SmerBot | SmerBot | 未分类 | — | — | 无视 | 停用 |
| Sitemap | Sitemap | 未分类 | — | — | 无视 | 停用 |
| sheriff | sheriff | 未分类 | — | — | 无视 | 停用 |
| Sens.ai | Sens.ai | 未分类 | — | — | 无视 | 停用 |
| SafeDNS | SafeDNS | 未分类 | — | — | 无视 | 停用 |
| pingbot | pingbot | 未分类 | — | — | 无视 | 停用 |
| Pattern | Pattern | 未分类 | — | — | 无视 | 停用 |
| Mozzila | Mozzila | 未分类 | — | — | 无视 | 停用 |
| Morning | Morning | 未分类 | — | — | 无视 | 停用 |
| mahonie | mahonie | 未分类 | — | — | 无视 | 停用 |
| Kimengi | Kimengi | 未分类 | — | — | 无视 | 停用 |
| Keyword | Keyword | 未分类 | — | — | 无视 | 停用 |
| kalooga | kalooga | 未分类 | — | — | 无视 | 停用 |
| JobFeed | JobFeed | 未分类 | — | — | 无视 | 停用 |
| Javelin | Javelin | 未分类 | — | — | 无视 | 停用 |
| igde.ru | igde.ru | 未分类 | — | — | 无视 | 停用 |