收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| ssl-tools.net | ssl-tools.net | 未分类 | — | — | 无视 | 停用 |
| Graydon crawler | Graydon crawler | 未分类 | — | — | 无视 | 停用 |
| Infegy | Infegy | 未分类 | — | — | 无视 | 停用 |
| TSpider | TSpider | 未分类 | — | — | 无视 | 停用 |
| InoopaBot | InoopaBot | 未分类 | — | — | 无视 | 停用 |
| isa | isa | 未分类 | — | — | 无视 | 停用 |
| veu | veu | 未分类 | — | — | 无视 | 停用 |
| Alignabot | Alignabot | 未分类 | — | — | 无视 | 停用 |
| DaveCrawler | DaveCrawler | 未分类 | — | — | 无视 | 停用 |
| Monitive Uptime Monitoring Bot | Monitive Uptime Monitoring Bot | 未分类 | — | — | 无视 | 停用 |
| Thither.Direct Bot | Thither.Direct Bot | 未分类 | — | — | 无视 | 停用 |
| SuperPagesUrlVerifyBot | SuperPagesUrlVerifyBot | 未分类 | — | — | 无视 | 停用 |
| CityGrid crawler | CityGrid crawler | 未分类 | — | — | 无视 | 停用 |
| monitorabot | monitorabot | 未分类 | — | — | 无视 | 停用 |
| Site-Shot | Site-Shot | 未分类 | — | — | 无视 | 停用 |
| Adolab bot | Adolab bot | 未分类 | — | — | 无视 | 停用 |
| Genieo Web filter | Genieo Web filter | 未分类 | — | — | 无视 | 停用 |
| Zoxh.Com Bot | Zoxh.Com Bot | 未分类 | — | — | 无视 | 停用 |
| probethenet.com scanner | probethenet.com scanner | 未分类 | — | — | 无视 | 停用 |
| TA SEO Crawler | TA SEO Crawler | 未分类 | — | — | 无视 | 停用 |
| WWRanks.com crawler | WWRanks.com crawler | 未分类 | — | — | 无视 | 停用 |
| Cloudflare-AMP | Cloudflare-AMP | 未分类 | — | — | 无视 | 停用 |
| DaaS.sh crawler | DaaS.sh crawler | 未分类 | — | — | 无视 | 停用 |
| RankingBot | RankingBot | 未分类 | — | — | 无视 | 停用 |
| Google-Youtube-Links | Google-Youtube-Links | 未分类 | — | — | 无视 | 停用 |
| IAB crawler | IAB crawler | 未分类 | — | — | 无视 | 停用 |
| Favicon | Favicon | 未分类 | — | — | 无视 | 停用 |
| Miralinks Robot | Miralinks Robot | 未分类 | — | — | 无视 | 停用 |
| Litmus crawler | Litmus crawler | 未分类 | — | — | 无视 | 停用 |
| EnliteAI crawler | EnliteAI crawler | 未分类 | — | — | 无视 | 停用 |