收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Conductor bot | Conductor bot | 未分类 | — | — | 无视 | 停用 |
| isUp.li Website Monitoring | isUp.li Website Monitoring | 未分类 | — | — | 无视 | 停用 |
| SeeWithKids bot | SeeWithKids bot | 未分类 | — | — | 无视 | 停用 |
| ServiceUptime.robot | ServiceUptime.robot | 未分类 | — | — | 无视 | 停用 |
| websitepulse bot | websitepulse bot | 未分类 | — | — | 无视 | 停用 |
| PANDORA bot | PANDORA bot | 未分类 | — | — | 无视 | 停用 |
| kb.dk_bot | kb.dk_bot | 未分类 | — | — | 无视 | 停用 |
| AntBot | AntBot | 未分类 | — | — | 无视 | 停用 |
| Nodemeter | Nodemeter | 未分类 | — | — | 无视 | 停用 |
| 1M7bot | 1M7bot | 未分类 | — | — | 无视 | 停用 |
| LinqiaBot | LinqiaBot | 未分类 | — | — | 无视 | 停用 |
| MarketingMiner Bot | MarketingMiner Bot | 未分类 | — | — | 无视 | 停用 |
| CloudFlare crawler | CloudFlare crawler | 未分类 | — | — | 无视 | 停用 |
| searplbot | searplbot | 未分类 | — | — | 无视 | 停用 |
| Aream Crawler | Aream Crawler | 未分类 | — | — | 无视 | 停用 |
| AAABot | AAABot | 未分类 | — | — | 无视 | 停用 |
| kansalliskirjasto.fi crawler | kansalliskirjasto.fi crawler | 未分类 | — | — | 无视 | 停用 |
| weborama crawler | weborama crawler | 未分类 | — | — | 无视 | 停用 |
| CMS Crawler | CMS Crawler | 未分类 | — | — | 无视 | 停用 |
| AnyBot | AnyBot | 未分类 | — | — | 无视 | 停用 |
| WhoAPI | WhoAPI | 未分类 | — | — | 无视 | 停用 |
| KauaiBot | KauaiBot | 未分类 | — | — | 无视 | 停用 |
| QuoraBot | QuoraBot | 未分类 | — | — | 无视 | 停用 |
| Primis crawler | Primis crawler | 未分类 | — | — | 无视 | 停用 |
| AteniumBot | AteniumBot | 未分类 | — | — | 无视 | 停用 |
| ddline.cn crawler | ddline.cn crawler | 未分类 | — | — | 无视 | 停用 |
| Lead Inspector Crawler | Lead Inspector Crawler | 未分类 | — | — | 无视 | 停用 |
| Dotcom-Monitor bot | Dotcom-Monitor bot | 未分类 | — | — | 无视 | 停用 |
| haw.nsk.hr crawler | haw.nsk.hr crawler | 未分类 | — | — | 无视 | 停用 |
| DYNO Mapper Crawler | DYNO Mapper Crawler | 未分类 | — | — | 无视 | 停用 |