收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Google-Ads-Conversions | Google-Ads-Conversions | 服务爬虫 | 未知 | — | 无视 | 停用 |
| A360-Search | A360-Search | 服务爬虫 | 未知 | — | 无视 | 停用 |
| AdkernelTopicCrawler | AdkernelTopicCrawler | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Amazing-SearchBot | Amazing-SearchBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| AudigentAdBot | AudigentAdBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| AwarioRendererBot | AwarioRendererBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| channable | channable | 服务爬虫 | 未知 | — | 无视 | 停用 |
| ContextualBot | ContextualBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| ds9 | ds9 | 服务爬虫 | 未知 | — | 无视 | 停用 |
| EcoVadisSustainabilityBot | EcoVadisSustainabilityBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| EzLynx | EzLynx | 服务爬虫 | 未知 | — | 无视 | 停用 |
| EzoicBot | EzoicBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| McontextualBot | McontextualBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| MixrankBot | MixrankBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| NanoInteractive | NanoInteractive | 服务爬虫 | 未知 | — | 无视 | 停用 |
| NetSeer | NetSeer | 服务爬虫 | 未知 | — | 无视 | 停用 |
| NewsRoom | NewsRoom | 服务爬虫 | 未知 | — | 无视 | 停用 |
| NostoCrawlerBot | NostoCrawlerBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| productsup | productsup | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Qwarrybot | Qwarrybot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Scope3 | Scope3 | 服务爬虫 | 未知 | — | 无视 | 停用 |
| scraping@nytimes | scraping@nytimes | 服务爬虫 | 未知 | — | 无视 | 停用 |
| uipbot | uipbot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| um-FC | um-FC | 服务爬虫 | 未知 | — | 无视 | 停用 |
| um-IC | um-IC | 服务爬虫 | 未知 | — | 无视 | 停用 |
| weborama-fetcher | weborama-fetcher | 服务爬虫 | 未知 | — | 无视 | 停用 |
| webspidermount | webspidermount | 服务爬虫 | 未知 | — | 无视 | 停用 |
| wknd-bot | wknd-bot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| CybaaBot | CybaaBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| SirdataBot | SirdataBot | 服务爬虫 | 未知 | — | 无视 | 停用 |