收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Geek-Tools | Geek-Tools | 未分类 | — | — | 无视 | 停用 |
| bumb.ly crawler | bumb.ly crawler | 未分类 | — | — | 无视 | 停用 |
| DomainSONOCrawler | DomainSONOCrawler | 未分类 | — | — | 无视 | 停用 |
| thumbshots-de-Bot | thumbshots-de-Bot | 未分类 | — | — | 无视 | 停用 |
| FeedBucket | FeedBucket | 未分类 | — | — | 无视 | 停用 |
| Vsevjednom.cz crawler | Vsevjednom.cz crawler | 未分类 | — | — | 无视 | 停用 |
| CSS Certificate Spider | CSS Certificate Spider | 未分类 | — | — | 无视 | 停用 |
| hosterstats com | hosterstats com | 未分类 | — | — | 无视 | 停用 |
| Frontera | Frontera | 未分类 | — | — | 无视 | 停用 |
| Adstxtaggregator.com | Adstxtaggregator.com | 未分类 | — | — | 无视 | 停用 |
| Everyonedomainsbot | Everyonedomainsbot | 未分类 | — | — | 无视 | 停用 |
| IzABee Spider | IzABee Spider | 未分类 | — | — | 无视 | 停用 |
| Toweyabot | Toweyabot | 未分类 | — | — | 无视 | 停用 |
| RozhledBot | RozhledBot | 未分类 | — | — | 无视 | 停用 |
| ArielisBot | ArielisBot | 未分类 | — | — | 无视 | 停用 |
| crawler.commonscan.org | crawler.commonscan.org | 未分类 | — | — | 无视 | 停用 |
| LongURL | LongURL | 未分类 | — | — | 无视 | 停用 |
| wf_crawler | wf_crawler | 未分类 | — | — | 无视 | 停用 |
| richardstoolbox crawler | richardstoolbox crawler | 未分类 | — | — | 无视 | 停用 |
| TeeRaidBot | TeeRaidBot | 未分类 | — | — | 无视 | 停用 |
| SiteXY Webmaster tools | SiteXY Webmaster tools | 未分类 | — | — | 无视 | 停用 |
| Yooo bot | Yooo bot | 未分类 | — | — | 无视 | 停用 |
| UptimeDog | UptimeDog | 未分类 | — | — | 无视 | 停用 |
| SputnikBot | SputnikBot | 未分类 | — | — | 无视 | 停用 |
| techleadzbot | techleadzbot | 未分类 | — | — | 无视 | 停用 |
| FeedRssBot | FeedRssBot | 未分类 | — | — | 无视 | 停用 |
| SEO Browser | SEO Browser | 未分类 | — | — | 无视 | 停用 |
| Contacts Crawler | Contacts Crawler | 未分类 | — | — | 无视 | 停用 |
| topster_de-crawler | topster_de-crawler | 未分类 | — | — | 无视 | 停用 |
| NetTrack.info bot | NetTrack.info bot | 未分类 | — | — | 无视 | 停用 |