收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| StormCrawler | StormCrawler | 未分类 | — | — | 无视 | 停用 |
| SilverReader | SilverReader | 未分类 | — | — | 无视 | 停用 |
| scrapy-redis | scrapy-redis | 未分类 | — | — | 无视 | 停用 |
| Project25499 | Project25499 | 未分类 | — | — | 无视 | 停用 |
| OnalyticaBot | OnalyticaBot | 未分类 | — | — | 无视 | 停用 |
| More-Testing | More-Testing | 未分类 | — | — | 无视 | 停用 |
| MetaTagRobot | MetaTagRobot | 未分类 | — | — | 无视 | 停用 |
| LinqiaRSSBot | LinqiaRSSBot | 未分类 | — | — | 无视 | 停用 |
| JobKeresoBot | JobKeresoBot | 未分类 | — | — | 无视 | 停用 |
| informatique | informatique | 未分类 | — | — | 无视 | 停用 |
| image.coccoc | image.coccoc | 未分类 | — | — | 无视 | 停用 |
| ExtractorPro | ExtractorPro | 未分类 | — | — | 无视 | 停用 |
| EventMachine | EventMachine | 未分类 | — | — | 无视 | 停用 |
| DialogSearch | DialogSearch | 未分类 | — | — | 无视 | 停用 |
| cn_ab_viewer | cn_ab_viewer | 未分类 | — | — | 无视 | 停用 |
| AppleNewsBot | AppleNewsBot | 未分类 | — | — | 无视 | 停用 |
| adstxt-worker | adstxt-worker | 未分类 | — | — | 无视 | 停用 |
| AnyEvent-HTTP | AnyEvent-HTTP | 未分类 | — | — | 无视 | 停用 |
| Backlink-Ceck | Backlink-Ceck | 未分类 | — | — | 无视 | 停用 |
| biz_Directory | biz_Directory | 未分类 | — | — | 无视 | 停用 |
| BlockNote.Net | BlockNote.Net | 未分类 | — | — | 无视 | 停用 |
| BlogPulseLive | BlogPulseLive | 未分类 | — | — | 无视 | 停用 |
| boitho.com-dc | boitho.com-dc | 未分类 | — | — | 无视 | 停用 |
| BPImageWalker | BPImageWalker | 未分类 | — | — | 无视 | 停用 |
| BunnySlippers | BunnySlippers | 未分类 | — | — | 无视 | 停用 |
| Canary%20Mail | Canary%20Mail | 未分类 | — | — | 无视 | 停用 |
| CookieReports | CookieReports | 未分类 | — | — | 无视 | 停用 |
| Feed Wrangler | Feed Wrangler | 未分类 | — | — | 无视 | 停用 |
| Fiery%20Feeds | Fiery%20Feeds | 未分类 | — | — | 无视 | 停用 |
| G-i-g-a-b-o-t | G-i-g-a-b-o-t | 未分类 | — | — | 无视 | 停用 |