收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| al_org_viewer | al_org_viewer | 未分类 | — | — | 无视 | 停用 |
| clips.ua.ac.be | clips.ua.ac.be | 未分类 | — | — | 无视 | 停用 |
| CopyRightCheck | CopyRightCheck | 未分类 | — | — | 无视 | 停用 |
| EMail Exractor | EMail Exractor | 未分类 | — | — | 无视 | 停用 |
| faviconarchive | faviconarchive | 未分类 | — | — | 无视 | 停用 |
| FeedshowOnline | FeedshowOnline | 未分类 | — | — | 无视 | 停用 |
| FeedZcollector | FeedZcollector | 未分类 | — | — | 无视 | 停用 |
| Google Desktop | Google Desktop | 未分类 | — | — | 无视 | 停用 |
| Google favicon | Google favicon | 未分类 | — | — | 无视 | 停用 |
| Google-Adwords | Google-Adwords | 未分类 | — | — | 无视 | 停用 |
| Google-Podcast | Google-Podcast | 未分类 | — | — | 无视 | 停用 |
| GoogleMessages | GoogleMessages | 未分类 | — | — | 无视 | 停用 |
| HttpComponents | HttpComponents | 未分类 | — | — | 无视 | 停用 |
| http_requester | http_requester | 未分类 | — | — | 无视 | 停用 |
| huaweisymantec | huaweisymantec | 未分类 | — | — | 无视 | 停用 |
| Internet Ninja | Internet Ninja | 未分类 | — | — | 无视 | 停用 |
| Java.*outbrain | Java.*outbrain | 未分类 | — | — | 无视 | 停用 |
| lscache_runner | lscache_runner | 未分类 | — | — | 无视 | 停用 |
| lua-resty-http | lua-resty-http | 未分类 | — | — | 无视 | 停用 |
| Mr.4x3 Powered | Mr.4x3 Powered | 未分类 | — | — | 无视 | 停用 |
| nominet.org.uk | nominet.org.uk | 未分类 | — | — | 无视 | 停用 |
| NotionEmbedder | NotionEmbedder | 未分类 | — | — | 无视 | 停用 |
| Ploetz Zeller | Ploetz Zeller | 未分类 | — | — | 无视 | 停用 |
| PostmanRuntime | PostmanRuntime | 未分类 | — | — | 无视 | 停用 |
| Project ?25499 | Project ?25499 | 未分类 | — | — | 无视 | 停用 |
| RPT-HTTPClient | RPT-HTTPClient | 未分类 | — | — | 无视 | 停用 |
| WebsiteQuester | WebsiteQuester | 未分类 | — | — | 无视 | 停用 |
| www.monitor.us | www.monitor.us | 未分类 | — | — | 无视 | 停用 |
| ZendHttpClient | ZendHttpClient | 未分类 | — | — | 无视 | 停用 |
| YandexZakladki | YandexZakladki | 未分类 | — | — | 无视 | 停用 |