收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| PartyflockLinkChecker | PartyflockLinkChecker | 未分类 | — | — | 无视 | 停用 |
| SJUUPBot | SJUUPBot | 未分类 | — | — | 无视 | 停用 |
| OgScrper | OgScrper | 未分类 | — | — | 无视 | 停用 |
| Minds crawler | Minds crawler | 未分类 | — | — | 无视 | 停用 |
| AdsrvrBot | AdsrvrBot | 未分类 | — | — | 无视 | 停用 |
| NortheasternSysNetBot | NortheasternSysNetBot | 未分类 | — | — | 无视 | 停用 |
| Google-Test | Google-Test | 未分类 | — | — | 无视 | 停用 |
| PritTorrent | PritTorrent | 未分类 | — | — | 无视 | 停用 |
| PDFDriveCrawler | PDFDriveCrawler | 未分类 | — | — | 无视 | 停用 |
| faviconkit | faviconkit | 未分类 | — | — | 无视 | 停用 |
| SpuhexBot | SpuhexBot | 未分类 | — | — | 无视 | 停用 |
| CLcrawler | CLcrawler | 未分类 | — | — | 无视 | 停用 |
| sstbot | sstbot | 未分类 | — | — | 无视 | 停用 |
| Gosign crawler | Gosign crawler | 未分类 | — | — | 无视 | 停用 |
| MarketMuseBot | MarketMuseBot | 未分类 | — | — | 无视 | 停用 |
| Plukkie | Plukkie | 未分类 | — | — | 无视 | 停用 |
| CopperEgg | CopperEgg | 未分类 | — | — | 无视 | 停用 |
| Tweezler | Tweezler | 未分类 | — | — | 无视 | 停用 |
| Server Density | Server Density | 未分类 | — | — | 无视 | 停用 |
| DIGMATO.com crawler | DIGMATO.com crawler | 未分类 | — | — | 无视 | 停用 |
| SiteProbe | SiteProbe | 未分类 | — | — | 无视 | 停用 |
| LXRbot | LXRbot | 未分类 | — | — | 无视 | 停用 |
| ISOWQ | ISOWQ | 未分类 | — | — | 无视 | 停用 |
| Pulsepoint crawler | Pulsepoint crawler | 未分类 | — | — | 无视 | 停用 |
| PleskBot | PleskBot | 未分类 | — | — | 无视 | 停用 |
| DAWINCI ANTIPLAG | DAWINCI ANTIPLAG | 未分类 | — | — | 无视 | 停用 |
| DomainsDB.net MetaCrawler | DomainsDB.net MetaCrawler | 未分类 | — | — | 无视 | 停用 |
| Dun&BradstreetBot | Dun&BradstreetBot | 未分类 | — | — | 无视 | 停用 |
| GoSquared | GoSquared | 未分类 | — | — | 无视 | 停用 |
| arachnode.net | arachnode.net | 未分类 | — | — | 无视 | 停用 |