收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Authory | Authory | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| Automaton | Automaton | 网站监测 | 未知 | — | 无视 | 停用 |
| AwarioRendererBot | AwarioRendererBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| BestChange | BestChange | 内容预览 | 未知 | — | 无视 | 停用 |
| bigsur | bigsur | AI数据 | 未知 | — | 无视 | 停用 |
| BlingERP | BlingERP | 内容预览 | 未知 | — | 无视 | 停用 |
| Blockaid | Blockaid | 网站监测 | 未知 | — | 无视 | 停用 |
| Bloglines | Bloglines | 内容预览 | 未知 | — | 无视 | 停用 |
| BlogVault | BlogVault | 网站监测 | 未知 | — | 无视 | 停用 |
| bluesky-domain-status-classifier | bluesky-domain-status-classifier | 链接预览 | 未知 | — | 无视 | 停用 |
| Bluesky | Bluesky | 链接预览 | 未知 | — | 无视 | 停用 |
| bne | bne | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| BrowserBot-Observer | BrowserBot-Observer | 安全检测 | 未知 | — | 无视 | 停用 |
| BufferLinkPreviewBot | BufferLinkPreviewBot | 链接预览 | 未知 | — | 无视 | 停用 |
| Bugsnag | Bugsnag | 网站监测 | 未知 | — | 无视 | 停用 |
| Buttondown | Buttondown | 内容预览 | 未知 | — | 无视 | 停用 |
| CapitalOneBot | CapitalOneBot | 内容预览 | 未知 | — | 无视 | 停用 |
| CertChief | CertChief | 安全检测 | 未知 | — | 无视 | 停用 |
| channable | channable | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Chirp | Chirp | 网站监测 | 未知 | — | 无视 | 停用 |
| ClickUpLinkUnfurler | ClickUpLinkUnfurler | 链接预览 | 未知 | — | 无视 | 停用 |
| Cloudflare-Custom-Hostname-Verification | Cloudflare-Custom-Hostname-Verification | SEO分析 | 未知 | — | 无视 | 停用 |
| Cloudflare-Stream-Webhook | Cloudflare-Stream-Webhook | SEO分析 | 未知 | — | 无视 | 停用 |
| CloudflareRadarURLScanner | CloudflareRadarURLScanner | 网站监测 | 未知 | — | 无视 | 停用 |
| Cloudtrellis | Cloudtrellis | SEO分析 | 未知 | — | 无视 | 停用 |
| Collapsify | Collapsify | 内容预览 | 未知 | — | 无视 | 停用 |
| ContextualBot | ContextualBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Convermax | Convermax | SEO分析 | 未知 | — | 无视 | 停用 |
| cookie-maestro | cookie-maestro | 安全检测 | 未知 | — | 无视 | 停用 |
| CookieHubVerify | CookieHubVerify | 安全检测 | 未知 | — | 无视 | 停用 |