收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| Google-speakr | Google-speakr | 未分类 | — | — | 无视 | 停用 |
| HEADMasterSEO | HEADMasterSEO | 未分类 | — | — | 无视 | 停用 |
| help@dataminr | help@dataminr | 未分类 | — | — | 无视 | 停用 |
| http_request2 | http_request2 | 未分类 | — | — | 无视 | 停用 |
| InDesign%20CC | InDesign%20CC | 未分类 | — | — | 无视 | 停用 |
| myseosnapshot | myseosnapshot | 未分类 | — | — | 无视 | 停用 |
| PictureFinder | PictureFinder | 未分类 | — | — | 无视 | 停用 |
| plumanalytics | plumanalytics | 未分类 | — | — | 无视 | 停用 |
| PodcastAddict | PodcastAddict | 未分类 | — | — | 无视 | 停用 |
| sc-downloader | sc-downloader | 未分类 | — | — | 无视 | 停用 |
| SmartDownload | SmartDownload | 未分类 | — | — | 无视 | 停用 |
| SMUrlExpander | SMUrlExpander | 未分类 | — | — | 无视 | 停用 |
| Tiny Tiny RSS | Tiny Tiny RSS | 未分类 | — | — | 无视 | 停用 |
| worldping-api | worldping-api | 未分类 | — | — | 无视 | 停用 |
| WWW-Mechanize | WWW-Mechanize | 未分类 | — | — | 无视 | 停用 |
| YandexCatalog | YandexCatalog | 未分类 | — | — | 无视 | 停用 |
| WomlpeFactory | WomlpeFactory | 未分类 | — | — | 无视 | 停用 |
| socketcrawler | socketcrawler | 未分类 | — | — | 无视 | 停用 |
| SimpleChecker | SimpleChecker | 未分类 | — | — | 无视 | 停用 |
| scrapyproject | scrapyproject | 未分类 | — | — | 无视 | 停用 |
| percbotspider | percbotspider | 未分类 | — | — | 无视 | 停用 |
| OrangeCrawler | OrangeCrawler | 未分类 | — | — | 无视 | 停用 |
| LinkMarketbot | LinkMarketbot | 未分类 | — | — | 无视 | 停用 |
| IODC-Odysseus | IODC-Odysseus | 未分类 | — | — | 无视 | 停用 |
| IODC-Internet | IODC-Internet | 未分类 | — | — | 无视 | 停用 |
| Exabot-Images | Exabot-Images | 未分类 | — | — | 无视 | 停用 |
| es_com_viewer | es_com_viewer | 未分类 | — | — | 无视 | 停用 |
| CSmartCrawler | CSmartCrawler | 未分类 | — | — | 无视 | 停用 |
| CCResearchBot | CCResearchBot | 未分类 | — | — | 无视 | 停用 |
| AMZNKAssocBot | AMZNKAssocBot | 未分类 | — | — | 无视 | 停用 |