收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| internetVista monitor | internetVista monitor | 未分类 | — | — | 无视 | 停用 |
| nomore404.com robot | nomore404.com robot | 未分类 | — | — | 无视 | 停用 |
| HeartRailsBot | HeartRailsBot | 未分类 | — | — | 无视 | 停用 |
| ImageOptim | ImageOptim | 未分类 | — | — | 无视 | 停用 |
| Structured Data Markup Helper | Structured Data Markup Helper | 未分类 | — | — | 无视 | 停用 |
| REDbot | REDbot | 未分类 | — | — | 无视 | 停用 |
| Bad-Neighborhood | Bad-Neighborhood | 未分类 | — | — | 无视 | 停用 |
| PrintFriendly.com | PrintFriendly.com | 未分类 | — | — | 无视 | 停用 |
| RocketValidator crawler | RocketValidator crawler | 未分类 | — | — | 无视 | 停用 |
| Is it up | Is it up | 未分类 | — | — | 无视 | 停用 |
| TestURI crawler | TestURI crawler | 未分类 | — | — | 无视 | 停用 |
| metaforensics.io | metaforensics.io | 未分类 | — | — | 无视 | 停用 |
| Unshorten.It | Unshorten.It | 未分类 | — | — | 无视 | 停用 |
| Seo Servis | Seo Servis | 未分类 | — | — | 无视 | 停用 |
| sniptracker | sniptracker | 未分类 | — | — | 无视 | 停用 |
| Sniply | Sniply | 未分类 | — | — | 无视 | 停用 |
| Check-Host | Check-Host | 未分类 | — | — | 无视 | 停用 |
| GetintentCrawler | GetintentCrawler | 未分类 | — | — | 无视 | 停用 |
| SpazioDati bot | SpazioDati bot | 未分类 | — | — | 无视 | 停用 |
| agentslug | agentslug | 未分类 | — | — | 无视 | 停用 |
| Discu.eu bot | Discu.eu bot | 未分类 | — | — | 无视 | 停用 |
| Impact Radius Bot | Impact Radius Bot | 未分类 | — | — | 无视 | 停用 |
| e.ventures crawler | e.ventures crawler | 未分类 | — | — | 无视 | 停用 |
| Anturis Agent | Anturis Agent | 未分类 | — | — | 无视 | 停用 |
| Grabify.link | Grabify.link | 未分类 | — | — | 无视 | 停用 |
| Cloudinary | Cloudinary | 未分类 | — | — | 无视 | 停用 |
| cloudimage.io | cloudimage.io | 未分类 | — | — | 无视 | 停用 |
| WURFL ImageEngine | WURFL ImageEngine | 未分类 | — | — | 无视 | 停用 |
| at-bot | at-bot | 未分类 | — | — | 无视 | 停用 |
| Naver Scrap | Naver Scrap | 未分类 | — | — | 无视 | 停用 |