收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Datanyze | Datanyze | SEO分析 | 未知 | — | 无视 | 停用 |
| Google-Site-Verification | Google-Site-Verification | 搜索引擎 | 未知 | — | 无视 | 停用 |
| TrendsmapResolver | TrendsmapResolver | SEO分析 | 未知 | — | 无视 | 停用 |
| tweetedtimes | tweetedtimes | SEO分析 | 未知 | — | 无视 | 停用 |
| NTENTbot | NTENTbot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Gwene | Gwene | 内容预览 | 未知 | — | 无视 | 停用 |
| SimplePie | SimplePie | 内容预览 | 未知 | — | 无视 | 停用 |
| SearchAtlas | SearchAtlas | SEO分析 | 未知 | — | 无视 | 停用 |
| Superfeedr | Superfeedr | 内容预览 | 未知 | — | 无视 | 停用 |
| feedbot | feedbot | 内容预览 | 未知 | — | 无视 | 停用 |
| UT-Dorkbot | UT-Dorkbot | 安全检测 | 未知 | — | 无视 | 停用 |
| AmazonProductDiscovery | AmazonProductDiscovery | 搜索引擎 | 未知 | — | 无视 | 停用 |
| AmazonSellerInitiatedListing | AmazonSellerInitiatedListing | 搜索引擎 | 未知 | — | 无视 | 停用 |
| SerendeputyBot | SerendeputyBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Eyeotabot | Eyeotabot | 服务爬虫 | 未知 | — | 无视 | 停用 |
| officestorebot | officestorebot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| Neticle | Neticle | SEO分析 | 未知 | — | 无视 | 停用 |
| SurdotlyBot | SurdotlyBot | SEO分析 | 未知 | — | 无视 | 停用 |
| LinkisBot | LinkisBot | SEO分析 | 未知 | — | 无视 | 停用 |
| AwarioSmartBot | AwarioSmartBot | SEO分析 | 未知 | — | 无视 | 停用 |
| AwarioRssBot | AwarioRssBot | SEO分析 | 未知 | — | 无视 | 停用 |
| RyteBot | RyteBot | SEO分析 | 未知 | — | 无视 | 停用 |
| FreeWebMonitoring | FreeWebMonitoring | 网站监测 | 未知 | — | 无视 | 停用 |
| AspiegelBot | AspiegelBot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| NAVER | NAVER | 内容预览 | 未知 | — | 无视 | 停用 |
| zenback | zenback | SEO分析 | 未知 | — | 无视 | 停用 |
| SentiBot | SentiBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Domains | Domains | SEO分析 | 未知 | — | 无视 | 停用 |
| VKRobot | VKRobot | 链接预览 | 未知 | — | 无视 | 停用 |
| bidswitchbot | bidswitchbot | 服务爬虫 | 未知 | — | 无视 | 停用 |