收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| parsijoo-bot | parsijoo-bot | 未分类 | — | — | 无视 | 停用 |
| Vegi bot | Vegi bot | 未分类 | — | — | 无视 | 停用 |
| johnhew crawler | johnhew crawler | 未分类 | — | — | 无视 | 停用 |
| Office 365 viewer | Office 365 viewer | 未分类 | — | — | 无视 | 停用 |
| ShopAlike | ShopAlike | 未分类 | — | — | 无视 | 停用 |
| hosterstats newgtld | hosterstats newgtld | 未分类 | — | — | 无视 | 停用 |
| BegunAdvertising | BegunAdvertising | 未分类 | — | — | 无视 | 停用 |
| Scopia crawler | Scopia crawler | 未分类 | — | — | 无视 | 停用 |
| seplinkbot | seplinkbot | 未分类 | — | — | 无视 | 停用 |
| pyspider | pyspider | 未分类 | — | — | 无视 | 停用 |
| melodibot | melodibot | 未分类 | — | — | 无视 | 停用 |
| TeamSpeak bot | TeamSpeak bot | 未分类 | — | — | 无视 | 停用 |
| netk6 crawler | netk6 crawler | 未分类 | — | — | 无视 | 停用 |
| Tetrahedron | Tetrahedron | 未分类 | — | — | 无视 | 停用 |
| DJEcoBot | DJEcoBot | 未分类 | — | — | 无视 | 停用 |
| Venafi crawler | Venafi crawler | 未分类 | — | — | 无视 | 停用 |
| AliveAdvisor crawler | AliveAdvisor crawler | 未分类 | — | — | 无视 | 停用 |
| auskunftbot | auskunftbot | 未分类 | — | — | 无视 | 停用 |
| crawler National Library of Israel | crawler National Library of Israel | 未分类 | — | — | 无视 | 停用 |
| IP-Guide.com Crawler | IP-Guide.com Crawler | 未分类 | — | — | 无视 | 停用 |
| CloudEndure Scanner | CloudEndure Scanner | 未分类 | — | — | 无视 | 停用 |
| Domain Re-Animator Bot | Domain Re-Animator Bot | 未分类 | — | — | 无视 | 停用 |
| Seologies | Seologies | 未分类 | — | — | 无视 | 停用 |
| Mixmax crawler | Mixmax crawler | 未分类 | — | — | 无视 | 停用 |
| cuwhois | cuwhois | 未分类 | — | — | 无视 | 停用 |
| gensun.org crawler | gensun.org crawler | 未分类 | — | — | 无视 | 停用 |
| 0xFF Domain Crawler | 0xFF Domain Crawler | 未分类 | — | — | 无视 | 停用 |
| Aboundexbot | Aboundexbot | 未分类 | — | — | 无视 | 停用 |
| gimmeUSAbot | gimmeUSAbot | 未分类 | — | — | 无视 | 停用 |
| pdffillerbot | pdffillerbot | 未分类 | — | — | 无视 | 停用 |