收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| GoogleProber | GoogleProber | 未分类 | — | — | 无视 | 停用 |
| http-request | http-request | 未分类 | — | — | 无视 | 停用 |
| Image Sucker | Image Sucker | 未分类 | — | — | 无视 | 停用 |
| Indy Library | Indy Library | 未分类 | — | — | 无视 | 停用 |
| iThemes Sync | iThemes Sync | 未分类 | — | — | 无视 | 停用 |
| Jobsearch1.5 | Jobsearch1.5 | 未分类 | — | — | 无视 | 停用 |
| LinkAnalyser | LinkAnalyser | 未分类 | — | — | 无视 | 停用 |
| LinkExaminer | LinkExaminer | 未分类 | — | — | 无视 | 停用 |
| LinksManager | LinksManager | 未分类 | — | — | 无视 | 停用 |
| muhstik-scan | muhstik-scan | 未分类 | — | — | 无视 | 停用 |
| php-requests | php-requests | 未分类 | — | — | 无视 | 停用 |
| ProWebWalker | ProWebWalker | 未分类 | — | — | 无视 | 停用 |
| python-httpx | python-httpx | 未分类 | — | — | 无视 | 停用 |
| quic-go-HTTP | quic-go-HTTP | 未分类 | — | — | 无视 | 停用 |
| Re-re Studio | Re-re Studio | 未分类 | — | — | 无视 | 停用 |
| ReactorNetty | ReactorNetty | 未分类 | — | — | 无视 | 停用 |
| RealDownload | RealDownload | 未分类 | — | — | 无视 | 停用 |
| ReederForMac | ReederForMac | 未分类 | — | — | 无视 | 停用 |
| Searchestate | Searchestate | 未分类 | — | — | 无视 | 停用 |
| shrinktheweb | shrinktheweb | 未分类 | — | — | 无视 | 停用 |
| sovereign.ai | sovereign.ai | 未分类 | — | — | 无视 | 停用 |
| Tweetminster | Tweetminster | 未分类 | — | — | 无视 | 停用 |
| unirest-java | unirest-java | 未分类 | — | — | 无视 | 停用 |
| URL Verifier | URL Verifier | 未分类 | — | — | 无视 | 停用 |
| URLy Warning | URLy Warning | 未分类 | — | — | 无视 | 停用 |
| URLy.Warning | URLy.Warning | 未分类 | — | — | 无视 | 停用 |
| WallpapersHD | WallpapersHD | 未分类 | — | — | 无视 | 停用 |
| Web Enhancer | Web Enhancer | 未分类 | — | — | 无视 | 停用 |
| TECHIAITH_CY | TECHIAITH_CY | 未分类 | — | — | 无视 | 停用 |
| SwiteScraper | SwiteScraper | 未分类 | — | — | 无视 | 停用 |