收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Blackboard crawler | Blackboard crawler | 未分类 | — | — | 无视 | 停用 |
| bl.uk_lddc_bot | bl.uk_lddc_bot | 未分类 | — | — | 无视 | 停用 |
| internetwache.org crawler | internetwache.org crawler | 未分类 | — | — | 无视 | 停用 |
| Website-audit.be Crawler | Website-audit.be Crawler | 未分类 | — | — | 无视 | 停用 |
| filibot | filibot | 未分类 | — | — | 无视 | 停用 |
| Cirkwi crawler | Cirkwi crawler | 未分类 | — | — | 无视 | 停用 |
| 2GDPR bot | 2GDPR bot | 未分类 | — | — | 无视 | 停用 |
| draw.io | draw.io | 未分类 | — | — | 无视 | 停用 |
| BrowserSpyBot | BrowserSpyBot | 未分类 | — | — | 无视 | 停用 |
| pilicanbot | pilicanbot | 未分类 | — | — | 无视 | 停用 |
| XTC BOTNET | XTC BOTNET | 未分类 | — | — | 无视 | 停用 |
| Hypefactors crawler | Hypefactors crawler | 未分类 | — | — | 无视 | 停用 |
| Rival IQ | Rival IQ | 未分类 | — | — | 无视 | 停用 |
| Rely Bot | Rely Bot | 未分类 | — | — | 无视 | 停用 |
| TripleCheckerRobot | TripleCheckerRobot | 未分类 | — | — | 无视 | 停用 |
| Info bot | Info bot | 未分类 | — | — | 无视 | 停用 |
| Archive.St crawler | Archive.St crawler | 未分类 | — | — | 无视 | 停用 |
| Watson Explorer | Watson Explorer | 未分类 | — | — | 无视 | 停用 |
| WellknownWatcher | WellknownWatcher | 未分类 | — | — | 无视 | 停用 |
| phpservermon | phpservermon | 未分类 | — | — | 无视 | 停用 |
| Browsershots | Browsershots | 未分类 | — | — | 无视 | 停用 |
| NiueBot | NiueBot | 未分类 | — | — | 无视 | 停用 |
| LinkAlarm | LinkAlarm | 未分类 | — | — | 无视 | 停用 |
| Marfeel crawler | Marfeel crawler | 未分类 | — | — | 无视 | 停用 |
| Super Monitoring | Super Monitoring | 未分类 | — | — | 无视 | 停用 |
| Alertra | Alertra | 未分类 | — | — | 无视 | 停用 |
| statdom.ru/Bot | statdom.ru/Bot | 未分类 | — | — | 无视 | 停用 |
| PageModified Crawler | PageModified Crawler | 未分类 | — | — | 无视 | 停用 |
| link_thumbnailer | link_thumbnailer | 未分类 | — | — | 无视 | 停用 |
| BananaBot | BananaBot | 未分类 | — | — | 无视 | 停用 |