收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| CookieYesbot | CookieYesbot | 安全检测 | 未知 | — | 无视 | 停用 |
| Crazy | Crazy | 网站监测 | 未知 | — | 无视 | 停用 |
| Current | Current | 内容预览 | 未知 | — | 无视 | 停用 |
| cypex | cypex | 安全检测 | 未知 | — | 无视 | 停用 |
| DigiCert | DigiCert | 安全检测 | 未知 | — | 无视 | 停用 |
| dlvr | dlvr | 内容预览 | 未知 | — | 无视 | 停用 |
| Dotcom-Monitor | Dotcom-Monitor | 网站监测 | 未知 | — | 无视 | 停用 |
| DrataAutopilot | DrataAutopilot | 网站监测 | 未知 | — | 无视 | 停用 |
| DreamHost | DreamHost | 网站监测 | 未知 | — | 无视 | 停用 |
| ds9 | ds9 | 服务爬虫 | 未知 | — | 无视 | 停用 |
| EcoVadisSustainabilityBot | EcoVadisSustainabilityBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| elmah | elmah | 网站监测 | 未知 | — | 无视 | 停用 |
| EvernoteRichLinkBot | EvernoteRichLinkBot | 链接预览 | 未知 | — | 无视 | 停用 |
| EzLynx | EzLynx | 服务爬虫 | 未知 | — | 无视 | 停用 |
| EzoicBot | EzoicBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| FastDAST | FastDAST | 网站监测 | 未知 | — | 无视 | 停用 |
| Feeder | Feeder | 内容预览 | 未知 | — | 无视 | 停用 |
| FeedFlow | FeedFlow | 内容预览 | 未知 | — | 无视 | 停用 |
| FindFiles | FindFiles | 搜索引擎 | 未知 | — | 无视 | 停用 |
| FyndSearchEngine-Crawler | FyndSearchEngine-Crawler | 搜索引擎 | 未知 | — | 无视 | 停用 |
| FyndSearchEngine-ReCrawler | FyndSearchEngine-ReCrawler | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Goodreads | Goodreads | 链接预览 | 未知 | — | 无视 | 停用 |
| Greppr | Greppr | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Hardenize | Hardenize | 安全检测 | 未知 | — | 无视 | 停用 |
| HoneybadgerBot | HoneybadgerBot | 网站监测 | 未知 | — | 无视 | 停用 |
| Innologica | Innologica | 内容预览 | 未知 | — | 无视 | 停用 |
| Kangaroo | Kangaroo | AI数据 | 未知 | — | 无视 | 停用 |
| Known | Known | 网站监测 | 未知 | — | 无视 | 停用 |
| KrawlerBot | KrawlerBot | 安全检测 | 未知 | — | 无视 | 停用 |
| LinkCheckerBot | LinkCheckerBot | SEO分析 | 未知 | — | 无视 | 停用 |