收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| aranhabot | aranhabot | 未分类 | — | — | 无视 | 停用 |
| Statically crawler | Statically crawler | 未分类 | — | — | 无视 | 停用 |
| KauaiSlowBot | KauaiSlowBot | 未分类 | — | — | 无视 | 停用 |
| RukiCrawler | RukiCrawler | 未分类 | — | — | 无视 | 停用 |
| Docoloc | Docoloc | 未分类 | — | — | 无视 | 停用 |
| demandbase-bot | demandbase-bot | 未分类 | — | — | 无视 | 停用 |
| PLAZOO bot | PLAZOO bot | 未分类 | — | — | 无视 | 停用 |
| Steeler | Steeler | 未分类 | — | — | 无视 | 停用 |
| DreamHost bot | DreamHost bot | 未分类 | — | — | 无视 | 停用 |
| LanaiBot | LanaiBot | 未分类 | — | — | 无视 | 停用 |
| TprAdsTxtCrawler | TprAdsTxtCrawler | 未分类 | — | — | 无视 | 停用 |
| GoodBot | GoodBot | 未分类 | — | — | 无视 | 停用 |
| Meltwater bot | Meltwater bot | 未分类 | — | — | 无视 | 停用 |
| chimebot | chimebot | 未分类 | — | — | 无视 | 停用 |
| ivre-masscan | ivre-masscan | 未分类 | — | — | 无视 | 停用 |
| FAST bot | FAST bot | 未分类 | — | — | 无视 | 停用 |
| SecurityBot | SecurityBot | 未分类 | — | — | 无视 | 停用 |
| BoardReader crawler | BoardReader crawler | 未分类 | — | — | 无视 | 停用 |
| SiteTruth.com | SiteTruth.com | 未分类 | — | — | 无视 | 停用 |
| umich.edu crawler | umich.edu crawler | 未分类 | — | — | 无视 | 停用 |
| loc.gov crawler | loc.gov crawler | 未分类 | — | — | 无视 | 停用 |
| Snap URL Preview Service | Snap URL Preview Service | 未分类 | — | — | 无视 | 停用 |
| Http2Bot | Http2Bot | 未分类 | — | — | 无视 | 停用 |
| Bitextor | Bitextor | 未分类 | — | — | 无视 | 停用 |
| idmarch | idmarch | 未分类 | — | — | 无视 | 停用 |
| FlorKz. | FlorKz. | 未分类 | — | — | 无视 | 停用 |
| TeamViewer Web Monitor | TeamViewer Web Monitor | 未分类 | — | — | 无视 | 停用 |
| Crisp bot | Crisp bot | 未分类 | — | — | 无视 | 停用 |
| MicroAdBot | MicroAdBot | 未分类 | — | — | 无视 | 停用 |
| Page Analyzer | Page Analyzer | 未分类 | — | — | 无视 | 停用 |