收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| internetnl | internetnl | 未分类 | — | — | 无视 | 停用 |
| R6 bot | R6 bot | 未分类 | — | — | 无视 | 停用 |
| Google Apps Script | Google Apps Script | 未分类 | — | — | 无视 | 停用 |
| SCFCrawler | SCFCrawler | 未分类 | — | — | 无视 | 停用 |
| KargoBot | KargoBot | 未分类 | — | — | 无视 | 停用 |
| DAutoBot | DAutoBot | 未分类 | — | — | 无视 | 停用 |
| Port Monitor check service | Port Monitor check service | 未分类 | — | — | 无视 | 停用 |
| HappyApps crawler | HappyApps crawler | 未分类 | — | — | 无视 | 停用 |
| Mojoo Robot | Mojoo Robot | 未分类 | — | — | 无视 | 停用 |
| boitho.com bot | boitho.com bot | 未分类 | — | — | 无视 | 停用 |
| sftlnr | sftlnr | 未分类 | — | — | 无视 | 停用 |
| Unknown bot | Unknown bot | 未分类 | — | — | 无视 | 停用 |
| MirrorWeb bot | MirrorWeb bot | 未分类 | — | — | 无视 | 停用 |
| Datakudo bot | Datakudo bot | 未分类 | — | — | 无视 | 停用 |
| Naver scrapbook | Naver scrapbook | 未分类 | — | — | 无视 | 停用 |
| OrgProbe | OrgProbe | 未分类 | — | — | 无视 | 停用 |
| MatchoryBot | MatchoryBot | 未分类 | — | — | 无视 | 停用 |
| TweetedTimes Bot | TweetedTimes Bot | 未分类 | — | — | 无视 | 停用 |
| LivelapBot | LivelapBot | 未分类 | — | — | 无视 | 停用 |
| cg-eye | cg-eye | 未分类 | — | — | 无视 | 停用 |
| Jeffrey Exif Viewer | Jeffrey Exif Viewer | 未分类 | — | — | 无视 | 停用 |
| IPLogger Crawler | IPLogger Crawler | 未分类 | — | — | 无视 | 停用 |
| TomBot | TomBot | 未分类 | — | — | 无视 | 停用 |
| SimplyFast.info | SimplyFast.info | 未分类 | — | — | 无视 | 停用 |
| DNS-Tools Header-Analyzer | DNS-Tools Header-Analyzer | 未分类 | — | — | 无视 | 停用 |
| jurgendata | jurgendata | 未分类 | — | — | 无视 | 停用 |
| Easy-Thumb | Easy-Thumb | 未分类 | — | — | 无视 | 停用 |
| Google AppsViewer | Google AppsViewer | 未分类 | — | — | 无视 | 停用 |
| SSock | SSock | 未分类 | — | — | 无视 | 停用 |
| PingAdmin.Ru | PingAdmin.Ru | 未分类 | — | — | 无视 | 停用 |