收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| dotSemantic | dotSemantic | 未分类 | — | — | 无视 | 停用 |
| Karneval-Bot | Karneval-Bot | 未分类 | — | — | 无视 | 停用 |
| AportWorm | AportWorm | 未分类 | — | — | 无视 | 停用 |
| XmarksFetch | XmarksFetch | 未分类 | — | — | 无视 | 停用 |
| FeedFinder | FeedFinder | 未分类 | — | — | 无视 | 停用 |
| CorpusCrawler | CorpusCrawler | 未分类 | — | — | 无视 | 停用 |
| OrgbyBot | OrgbyBot | 未分类 | — | — | 无视 | 停用 |
| Mp3Bot | Mp3Bot | 未分类 | — | — | 无视 | 停用 |
| Surphace Scout | Surphace Scout | 未分类 | — | — | 无视 | 停用 |
| WikioFeedBot | WikioFeedBot | 未分类 | — | — | 无视 | 停用 |
| Szukacz | Szukacz | 未分类 | — | — | 无视 | 停用 |
| DBLBot | DBLBot | 未分类 | — | — | 无视 | 停用 |
| Thumbnail.CZ robot | Thumbnail.CZ robot | 未分类 | — | — | 无视 | 停用 |
| LinguaBot | LinguaBot | 未分类 | — | — | 无视 | 停用 |
| GurujiBot | GurujiBot | 未分类 | — | — | 无视 | 停用 |
| 50.nu | 50.nu | 未分类 | — | — | 无视 | 停用 |
| SanszBot | SanszBot | 未分类 | — | — | 无视 | 停用 |
| MarkMonitor Robots | MarkMonitor Robots | 未分类 | — | — | 无视 | 停用 |
| moba-crawler | moba-crawler | 未分类 | — | — | 无视 | 停用 |
| JadynAveBot | JadynAveBot | 未分类 | — | — | 无视 | 停用 |
| OsObot | OsObot | 未分类 | — | — | 无视 | 停用 |
| WebImages | WebImages | 未分类 | — | — | 无视 | 停用 |
| WinWebBot | WinWebBot | 未分类 | — | — | 无视 | 停用 |
| Scarlett | Scarlett | 未分类 | — | — | 无视 | 停用 |
| DKIMRepBot | DKIMRepBot | 未分类 | — | — | 无视 | 停用 |
| YowedoBot | YowedoBot | 未分类 | — | — | 无视 | 停用 |
| botmobi | botmobi | 未分类 | — | — | 无视 | 停用 |
| Fooooo_Web_Video_Crawl | Fooooo_Web_Video_Crawl | 未分类 | — | — | 无视 | 停用 |
| lincobot | lincobot | 未分类 | — | — | 无视 | 停用 |
| Touche | Touche | 未分类 | — | — | 无视 | 停用 |