收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| VidibleScraper | VidibleScraper | 未分类 | — | — | 无视 | 停用 |
| TBI-WebScanner | TBI-WebScanner | 未分类 | — | — | 无视 | 停用 |
| SEOENGWorldBot | SEOENGWorldBot | 未分类 | — | — | 无视 | 停用 |
| R6_FeedFetcher | R6_FeedFetcher | 未分类 | — | — | 无视 | 停用 |
| Inboxb0t-Image | Inboxb0t-Image | 未分类 | — | — | 无视 | 停用 |
| DNSResearchBot | DNSResearchBot | 未分类 | — | — | 无视 | 停用 |
| annotate_google | annotate_google | 未分类 | — | — | 无视 | 停用 |
| B-l-i-t-z-B-O-T | B-l-i-t-z-B-O-T | 未分类 | — | — | 无视 | 停用 |
| BingLocalSearch | BingLocalSearch | 未分类 | — | — | 无视 | 停用 |
| Cerberian Drtrs | Cerberian Drtrs | 未分类 | — | — | 无视 | 停用 |
| Download Wonder | Download Wonder | 未分类 | — | — | 无视 | 停用 |
| free thumbnails | free thumbnails | 未分类 | — | — | 无视 | 停用 |
| GitHub-Hookshot | GitHub-Hookshot | 未分类 | — | — | 无视 | 停用 |
| Go http package | Go HTTP | 未分类 | — | — | 无视 | 停用 |
| Go-Ahead-Got-It | Go-Ahead-Got-It | 未分类 | — | — | 无视 | 停用 |
| Goldfire Server | Goldfire Server | 未分类 | — | — | 无视 | 停用 |
| Google-SMTP-STS | Google-SMTP-STS | 未分类 | — | — | 无视 | 停用 |
| Keyword Density | Keyword Density | 未分类 | — | — | 无视 | 停用 |
| Litemage_walker | Litemage_walker | 未分类 | — | — | 无视 | 停用 |
| LoadImpactRload | LoadImpactRload | 未分类 | — | — | 无视 | 停用 |
| looksystems.net | looksystems.net | 未分类 | — | — | 无视 | 停用 |
| marketinggrader | marketinggrader | 未分类 | — | — | 无视 | 停用 |
| Mass Downloader | Mass Downloader | 未分类 | — | — | 无视 | 停用 |
| MFC_Tear_Sample | MFC_Tear_Sample | 未分类 | — | — | 无视 | 停用 |
| Miro-HttpClient | Miro-HttpClient | 未分类 | — | — | 无视 | 停用 |
| mixdata dot com | mixdata dot com | 未分类 | — | — | 无视 | 停用 |
| nineconnections | nineconnections | 未分类 | — | — | 无视 | 停用 |
| node-superagent | node-superagent | 未分类 | — | — | 无视 | 停用 |
| nWormFeedFinder | nWormFeedFinder | 未分类 | — | — | 无视 | 停用 |
| Open Source RSS | Open Source RSS | 未分类 | — | — | 无视 | 停用 |