收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Watchbot | Watchbot | 网站监测 | 未知 | — | 无视 | 停用 |
| Watchful | Watchful | 网站监测 | 未知 | — | 无视 | 停用 |
| weborama-fetcher | weborama-fetcher | 服务爬虫 | 未知 | — | 无视 | 停用 |
| webspidermount | webspidermount | 服务爬虫 | 未知 | — | 无视 | 停用 |
| WepchSearchEngine | WepchSearchEngine | 搜索引擎 | 未知 | — | 无视 | 停用 |
| wknd-bot | wknd-bot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| WPMU | WPMU | 网站监测 | 未知 | — | 无视 | 停用 |
| WTotem | WTotem | 安全检测 | 未知 | — | 无视 | 停用 |
| XoviOnpageCrawler | XoviOnpageCrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| yelpspider | yelpspider | 内容预览 | 未知 | — | 无视 | 停用 |
| 7Siters | 7Siters | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Accessible | Accessible | 网站监测 | 未知 | — | 无视 | 停用 |
| AtVowBot | AtVowBot | 网站监测 | 未知 | — | 无视 | 停用 |
| Bibliotheque | Bibliotheque | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| Bling | Bling | 网站监测 | 未知 | — | 无视 | 停用 |
| CDSCbot | CDSCbot | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| Critical | Critical | 网站监测 | 未知 | — | 无视 | 停用 |
| CybaaBot | CybaaBot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| CyberFindCrawler | CyberFindCrawler | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Dark | Dark | 网站监测 | 未知 | — | 无视 | 停用 |
| Determ | Determ | 网站监测 | 未知 | — | 无视 | 停用 |
| DNSScanner | DNSScanner | 安全检测 | 未知 | — | 无视 | 停用 |
| Drupalbot | Drupalbot | 网站监测 | 未知 | — | 无视 | 停用 |
| eMoney | eMoney | 网站监测 | 未知 | — | 无视 | 停用 |
| everyfeed-spider | everyfeed-spider | 内容预览 | 未知 | — | 无视 | 停用 |
| ExteContextCrawl | ExteContextCrawl | AI数据 | 未知 | — | 无视 | 停用 |
| FediDB | FediDB | 网站监测 | 未知 | — | 无视 | 停用 |
| FediIndex | FediIndex | 搜索引擎 | 未知 | — | 无视 | 停用 |
| FediList | FediList | 网站监测 | 未知 | — | 无视 | 停用 |
| Fedineko | Fedineko | 学术蜘蛛 | 未知 | — | 无视 | 停用 |