收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| ScanAlert | ScanAlert | 未分类 | — | — | 无视 | 停用 |
| SEOCentro | SEOCentro | 未分类 | — | — | 无视 | 停用 |
| SEOsearch | SEOsearch | 未分类 | — | — | 无视 | 停用 |
| servernfo | servernfo | 未分类 | — | — | 无视 | 停用 |
| Sitevigil | Sitevigil | 未分类 | — | — | 无视 | 停用 |
| SlySearch | SlySearch | 未分类 | — | — | 无视 | 停用 |
| SPDYCheck | SPDYCheck | 未分类 | — | — | 无视 | 停用 |
| spray-can | spray-can | 未分类 | — | — | 无视 | 停用 |
| ssl-tools | ssl-tools | 未分类 | — | — | 无视 | 停用 |
| SuperHTTP | SuperHTTP | 未分类 | — | — | 无视 | 停用 |
| Tarantula | Tarantula | 未分类 | — | — | 无视 | 停用 |
| Trackuity | Trackuity | 未分类 | — | — | 无视 | 停用 |
| Trendsmap | Trendsmap | 未分类 | — | — | 无视 | 停用 |
| UdmSearch | UdmSearch | 未分类 | — | — | 无视 | 停用 |
| URLTester | URLTester | 未分类 | — | — | 无视 | 停用 |
| Web Fetch | Web Fetch | 未分类 | — | — | 无视 | 停用 |
| WebClient | WebClient | 未分类 | — | — | 无视 | 停用 |
| WebReaper | WebReaper | 未分类 | — | — | 无视 | 停用 |
| WebSauger | WebSauger | 未分类 | — | — | 无视 | 停用 |
| WebSucker | WebSucker | 未分类 | — | — | 无视 | 停用 |
| WinPodder | WinPodder | 未分类 | — | — | 无视 | 停用 |
| Zombie.js | Zombie.js | 未分类 | — | — | 无视 | 停用 |
| Webmaster | Webmaster | 未分类 | — | — | 无视 | 停用 |
| unfurlist | unfurlist | 未分类 | — | — | 无视 | 停用 |
| SiteCheck | SiteCheck | 未分类 | — | — | 无视 | 停用 |
| ScrapeBox | ScrapeBox | 未分类 | — | — | 无视 | 停用 |
| s4a-probe | s4a-probe | 未分类 | — | — | 无视 | 停用 |
| RssReader | RssReader | 未分类 | — | — | 无视 | 停用 |
| RealMedia | RealMedia | 未分类 | — | — | 无视 | 停用 |
| Prebid.js | Prebid.js | 未分类 | — | — | 无视 | 停用 |