收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| webdepozit.sk crawler | webdepozit.sk crawler | 未分类 | — | — | 无视 | 停用 |
| Edge Crawler | Edge Crawler | 未分类 | — | — | 无视 | 停用 |
| SiteQuest Compliance bot | SiteQuest Compliance bot | 未分类 | — | — | 无视 | 停用 |
| SpyOnWeb | SpyOnWeb | 未分类 | — | — | 无视 | 停用 |
| awin.com crawler | awin.com crawler | 未分类 | — | — | 无视 | 停用 |
| Brandwatch crawler | Brandwatch crawler | 未分类 | — | — | 无视 | 停用 |
| tes-cocrawler | tes-cocrawler | 未分类 | — | — | 无视 | 停用 |
| CF-UC User Agent | CF-UC User Agent | 未分类 | — | — | 无视 | 停用 |
| JamesBOT | JamesBOT | 未分类 | — | — | 无视 | 停用 |
| iSec_Bot | iSec_Bot | 未分类 | — | — | 无视 | 停用 |
| DataXu | DataXu | 未分类 | — | — | 无视 | 停用 |
| SpotiboBot | SpotiboBot | 未分类 | — | — | 无视 | 停用 |
| Siteimprove.com bot | Siteimprove.com bot | 未分类 | — | — | 无视 | 停用 |
| AdAuth | AdAuth | 未分类 | — | — | 无视 | 停用 |
| placid.app | placid.app | 未分类 | — | — | 无视 | 停用 |
| LinkPreview | LinkPreview | 未分类 | — | — | 无视 | 停用 |
| Cloud mapping | Cloud mapping | 未分类 | — | — | 无视 | 停用 |
| gocrawl | gocrawl | 未分类 | — | — | 无视 | 停用 |
| TestBot | TestBot | 未分类 | — | — | 无视 | 停用 |
| nettle crawler | nettle crawler | 未分类 | — | — | 无视 | 停用 |
| Dow Jones Searchbot | Dow Jones Searchbot | 未分类 | — | — | 无视 | 停用 |
| TinyBotTestUA | TinyBotTestUA | 未分类 | — | — | 无视 | 停用 |
| Mailkit crawler | Mailkit crawler | 未分类 | — | — | 无视 | 停用 |
| GpcSupBot | GpcSupBot | 未分类 | — | — | 无视 | 停用 |
| PyWebCopyBot | PyWebCopyBot | 未分类 | — | — | 无视 | 停用 |
| Pingability.com bot | Pingability.com bot | 未分类 | — | — | 无视 | 停用 |
| meridi.am crawler | meridi.am crawler | 未分类 | — | — | 无视 | 停用 |
| Atomseobot | Atomseobot | 未分类 | — | — | 无视 | 停用 |
| TinyTestBot | TinyTestBot | 未分类 | — | — | 无视 | 停用 |
| Licorne crawler | Licorne crawler | 未分类 | — | — | 无视 | 停用 |