收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| twengabot | twengabot | SEO分析 | 未知 | — | 无视 | 停用 |
| postrank | postrank | SEO分析 | 未知 | — | 无视 | 停用 |
| Turnitin | Turnitin | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| scribdbot | scribdbot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| page2rss | page2rss | 内容预览 | 未知 | — | 无视 | 停用 |
| sitebot | sitebot | SEO分析 | 未知 | — | 无视 | 停用 |
| linkdex | linkdex | SEO分析 | 未知 | — | 无视 | 停用 |
| ezooms | ezooms | SEO分析 | 未知 | — | 无视 | 停用 |
| 搜索引擎 | 未知 | — | 无视 | 停用 | ||
| discobot | discobot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| findthatfile | findthatfile | 搜索引擎 | 未知 | — | 无视 | 停用 |
| europarchive | europarchive | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| NerdByNature | NerdByNature | SEO分析 | 未知 | — | 无视 | 停用 |
| Ahrefs | Ahrefs | SEO分析 | 未知 | — | 无视 | 停用 |
| fuelbot | fuelbot | SEO分析 | 未知 | — | 无视 | 停用 |
| IndeedBot | IndeedBot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| mappydata | mappydata | SEO分析 | 未知 | — | 无视 | 停用 |
| woobot | woobot | SEO分析 | 未知 | — | 无视 | 停用 |
| PrivacyAwareBot | PrivacyAwareBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Multiviewbot | Multiviewbot | SEO分析 | 未知 | — | 无视 | 停用 |
| SWIMGBot | SWIMGBot | SEO分析 | 未知 | — | 无视 | 停用 |
| Grobbot | Grobbot | SEO分析 | 未知 | — | 无视 | 停用 |
| eright | eright | SEO分析 | 未知 | — | 无视 | 停用 |
| Apercite | Apercite | SEO分析 | 未知 | — | 无视 | 停用 |
| semanticbot | semanticbot | SEO分析 | 未知 | — | 无视 | 停用 |
| Aboundex | Aboundex | 搜索引擎 | 未知 | — | 无视 | 停用 |
| domaincrawler | domaincrawler | SEO分析 | 未知 | — | 无视 | 停用 |
| wbsearchbot | wbsearchbot | 搜索引擎 | 未知 | — | 无视 | 停用 |
| summify | summify | SEO分析 | 未知 | — | 无视 | 停用 |
| edisterbot | edisterbot | 搜索引擎 | 未知 | — | 无视 | 停用 |