收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| SitemapGenerator | SitemapGenerator | 未分类 | — | — | 无视 | 停用 |
| terrainformatica | terrainformatica | 未分类 | — | — | 无视 | 停用 |
| The Intraformant | The Intraformant | 未分类 | — | — | 无视 | 停用 |
| theinternetrules | theinternetrules | 未分类 | — | — | 无视 | 停用 |
| updown.io daemon | updown.io daemon | 未分类 | — | — | 无视 | 停用 |
| Xenu Link Sleuth | Xenu Link Sleuth | 未分类 | — | — | 无视 | 停用 |
| yoogliFetchAgent | yoogliFetchAgent | 未分类 | — | — | 无视 | 停用 |
| Zend_Http_Client | Zend_Http_Client | 未分类 | — | — | 无视 | 停用 |
| Amazon CloudFront | Amazon CloudFront | 未分类 | — | — | 无视 | 停用 |
| Apache OpenOffice | Apache OpenOffice | 未分类 | — | — | 无视 | 停用 |
| AutomaticWPTester | AutomaticWPTester | 未分类 | — | — | 无视 | 停用 |
| biNu image cacher | biNu image cacher | 未分类 | — | — | 无视 | 停用 |
| Cosmos4j.feedback | Cosmos4j.feedback | 未分类 | — | — | 无视 | 停用 |
| Embed PHP Library | Embed PHP Library | 未分类 | — | — | 无视 | 停用 |
| Google PP Default | Google PP Default | 未分类 | — | — | 无视 | 停用 |
| Hootsuite-WebFeed | Hootsuite-WebFeed | 未分类 | — | — | 无视 | 停用 |
| http:www.neomo.de | http:www.neomo.de | 未分类 | — | — | 无视 | 停用 |
| inbound.li parser | inbound.li parser | 未分类 | — | — | 无视 | 停用 |
| JobFeed discovery | JobFeed discovery | 未分类 | — | — | 无视 | 停用 |
| Jobg8 URL Monitor | Jobg8 URL Monitor | 未分类 | — | — | 无视 | 停用 |
| Keywords Research | Keywords Research | 未分类 | — | — | 无视 | 停用 |
| longurl-r-package | longurl-r-package | 未分类 | — | — | 无视 | 停用 |
| Microsoft Outlook | Microsoft Outlook | 未分类 | — | — | 无视 | 停用 |
| Name Intelligence | Name Intelligence | 未分类 | — | — | 无视 | 停用 |
| NewsBlur .*Finder | NewsBlur .*Finder | 未分类 | — | — | 无视 | 停用 |
| Offline Navigator | Offline Navigator | 未分类 | — | — | 无视 | 停用 |
| Project-Resonance | Project-Resonance | 未分类 | — | — | 无视 | 停用 |
| QueryN Metasearch | QueryN Metasearch | 未分类 | — | — | 无视 | 停用 |
| semanticdiscovery | semanticdiscovery | 未分类 | — | — | 无视 | 停用 |
| Sitemap Generator | Sitemap Generator | 未分类 | — | — | 无视 | 停用 |