收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| 1001FirmsBot | 1001FirmsBot | 未分类 | — | — | 无视 | 停用 |
| COMODOSpider | COMODOSpider | 未分类 | — | — | 无视 | 停用 |
| HubPages | HubPages | 未分类 | — | — | 无视 | 停用 |
| CarianBot | CarianBot | 未分类 | — | — | 无视 | 停用 |
| WebArtexBot | WebArtexBot | 未分类 | — | — | 无视 | 停用 |
| HKEdCity crawler | HKEdCity crawler | 未分类 | — | — | 无视 | 停用 |
| janforman.com | janforman.com | 未分类 | — | — | 无视 | 停用 |
| IndustryIndexBot | IndustryIndexBot | 未分类 | — | — | 无视 | 停用 |
| webhint crawler | webhint crawler | 未分类 | — | — | 无视 | 停用 |
| Motoricerca-Robots.txt-Checker | Motoricerca-Robots.txt-Checker | 未分类 | — | — | 无视 | 停用 |
| TarmotGezgin | TarmotGezgin | 未分类 | — | — | 无视 | 停用 |
| musobot | musobot | 未分类 | — | — | 无视 | 停用 |
| inoreader.com | inoreader.com | 未分类 | — | — | 无视 | 停用 |
| Digincore bot | Digincore bot | 未分类 | — | — | 无视 | 停用 |
| Codewise bot | Codewise bot | 未分类 | — | — | 无视 | 停用 |
| orion-semantics.com | orion-semantics.com | 未分类 | — | — | 无视 | 停用 |
| voltron | voltron | 未分类 | — | — | 无视 | 停用 |
| manualzz bot | manualzz bot | 未分类 | — | — | 无视 | 停用 |
| TcpTools Bot | TcpTools Bot | 未分类 | — | — | 无视 | 停用 |
| glindahl-cocrawler | glindahl-cocrawler | 未分类 | — | — | 无视 | 停用 |
| Semasio crawler | Semasio crawler | 未分类 | — | — | 无视 | 停用 |
| PiStato | PiStato | 未分类 | — | — | 无视 | 停用 |
| StumbleUpon crawler | StumbleUpon crawler | 未分类 | — | — | 无视 | 停用 |
| YamanaLab-bot | YamanaLab-bot | 未分类 | — | — | 无视 | 停用 |
| PayPal IPN | PayPal IPN | 未分类 | — | — | 无视 | 停用 |
| SearchmetricsBot | SearchmetricsBot | 未分类 | — | — | 无视 | 停用 |
| contentDetection | contentDetection | 未分类 | — | — | 无视 | 停用 |
| NetShelter ContentScan | NetShelter ContentScan | 未分类 | — | — | 无视 | 停用 |
| NewShareCounts.com | NewShareCounts.com | 未分类 | — | — | 无视 | 停用 |
| DocSpotBot | DocSpotBot | 未分类 | — | — | 无视 | 停用 |