收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| SOLOFIELD bot | SOLOFIELD bot | 未分类 | — | — | 无视 | 停用 |
| Who.is Bot | Who.is Bot | 未分类 | — | — | 无视 | 停用 |
| Castlebot | Castlebot | 未分类 | — | — | 无视 | 停用 |
| Rigor crawler | Rigor crawler | 未分类 | — | — | 无视 | 停用 |
| PopeTech bot | PopeTech bot | 未分类 | — | — | 无视 | 停用 |
| ipv6-test.com validator | ipv6-test.com validator | 未分类 | — | — | 无视 | 停用 |
| ParaCrawl | ParaCrawl | 未分类 | — | — | 无视 | 停用 |
| YellowLabTools | YellowLabTools | 未分类 | — | — | 无视 | 停用 |
| Project 25499 | Project 25499 | 未分类 | — | — | 无视 | 停用 |
| Law Insider bot | Law Insider bot | 未分类 | — | — | 无视 | 停用 |
| Experian crawler | Experian crawler | 未分类 | — | — | 无视 | 停用 |
| ImplisenseBot | ImplisenseBot | 未分类 | — | — | 无视 | 停用 |
| NinjaBot | NinjaBot | 未分类 | — | — | 无视 | 停用 |
| TU Braunschweig crawler | TU Braunschweig crawler | 未分类 | — | — | 无视 | 停用 |
| infohound.net crawler | infohound.net crawler | 未分类 | — | — | 无视 | 停用 |
| Riddlerbot | Riddlerbot | 未分类 | — | — | 无视 | 停用 |
| 1stwarning bot | 1stwarning bot | 未分类 | — | — | 无视 | 停用 |
| Google Cloud AI | Google Cloud AI | 未分类 | — | — | 无视 | 停用 |
| gschaid bot | gschaid bot | 未分类 | — | — | 无视 | 停用 |
| WebThumb | WebThumb | 未分类 | — | — | 无视 | 停用 |
| PimEyes crawler | PimEyes crawler | 未分类 | — | — | 无视 | 停用 |
| Ondarenet | Ondarenet | 未分类 | — | — | 无视 | 停用 |
| Stephan Kopp bot | Stephan Kopp bot | 未分类 | — | — | 无视 | 停用 |
| Tools4noobs.com Spider | Tools4noobs.com Spider | 未分类 | — | — | 无视 | 停用 |
| Wikipedia Citoid | Wikipedia Citoid | 未分类 | — | — | 无视 | 停用 |
| Cronjob.de bot | Cronjob.de bot | 未分类 | — | — | 无视 | 停用 |
| XmlSitemapGenerator | XmlSitemapGenerator | 未分类 | — | — | 无视 | 停用 |
| Pearltrees | Pearltrees | 未分类 | — | — | 无视 | 停用 |
| XML Schema Validator | XML Schema Validator | 未分类 | — | — | 无视 | 停用 |
| PlurkBot | PlurkBot | 未分类 | — | — | 无视 | 停用 |