收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| WeSEE:Search | WeSEE:Search | 搜索引擎 | 未知 | — | 无视 | 停用 |
| niki-bot | niki-bot | SEO分析 | 未知 | — | 无视 | 停用 |
| CrystalSemanticsBot | CrystalSemanticsBot | SEO分析 | 未知 | — | 无视 | 停用 |
| InterfaxScanBot | InterfaxScanBot | SEO分析 | 未知 | — | 无视 | 停用 |
| g00g1e | g00g1e | SEO分析 | 未知 | — | 无视 | 停用 |
| GrapeshotCrawler | GrapeshotCrawler | 服务爬虫 | 未知 | — | 无视 | 停用 |
| urlappendbot | urlappendbot | SEO分析 | 未知 | — | 无视 | 停用 |
| brainobot | brainobot | SEO分析 | 未知 | — | 无视 | 停用 |
| fr-crawler | fr-crawler | 搜索引擎 | 未知 | — | 无视 | 停用 |
| binlar | binlar | 安全检测 | 未知 | — | 无视 | 停用 |
| SimpleCrawler | SimpleCrawler | 通用工具 | 未知 | — | 无视 | 停用 |
| cXensebot | cXensebot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| bnf | bnf | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| A6-Indexer | A6-Indexer | 搜索引擎 | 未知 | — | 无视 | 停用 |
| ADmantX | ADmantX | 服务爬虫 | 未知 | — | 无视 | 停用 |
| Facebot | Facebot | 链接预览 | 未知 | — | 无视 | 停用 |
| OrangeBot | OrangeBot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| memorybot | memorybot | SEO分析 | 未知 | — | 无视 | 停用 |
| AdvBot | AdvBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| MegaIndex | MegaIndex | SEO分析 | 未知 | — | 无视 | 停用 |
| SemanticScholarBot | SemanticScholarBot | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| ltx71 | ltx71 | 安全检测 | 未知 | — | 无视 | 停用 |
| nerdybot | nerdybot | SEO分析 | 未知 | — | 无视 | 停用 |
| xovibot | xovibot | SEO分析 | 未知 | — | 无视 | 停用 |
| BUbiNG | BUbiNG | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| archive | archive | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| TweetmemeBot | TweetmemeBot | 链接预览 | 未知 | — | 无视 | 停用 |
| crawler4j | crawler4j | 通用工具 | 未知 | — | 无视 | 停用 |
| yoozBot | yoozBot | SEO分析 | 未知 | — | 无视 | 停用 |
| lipperhey | lipperhey | SEO分析 | 未知 | — | 无视 | 停用 |