收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| iqdb | iqdb | 未分类 | — | — | 无视 | 停用 |
| VirusTotalBot | VirusTotalBot | 未分类 | — | — | 无视 | 停用 |
| VerticalLeap-BacklinkChecker | VerticalLeap-BacklinkChecker | 未分类 | — | — | 无视 | 停用 |
| 80legs | 80legs | 未分类 | — | — | 无视 | 停用 |
| 007ac9 Crawler | 007ac9 Crawler | 未分类 | — | — | 无视 | 停用 |
| caretnail | caretnail | 未分类 | — | — | 无视 | 停用 |
| SiteUptime.com | SiteUptime.com | 未分类 | — | — | 无视 | 停用 |
| updown.io | updown.io | 未分类 | — | — | 无视 | 停用 |
| montools.com | montools.com | 未分类 | — | — | 无视 | 停用 |
| FreeWebMonitoring SiteChecker | FreeWebMonitoring SiteChecker | 未分类 | — | — | 无视 | 停用 |
| TextRazor Downloader | TextRazor Downloader | 未分类 | — | — | 无视 | 停用 |
| Site24x7 Agent | Site24x7 Agent | 未分类 | — | — | 无视 | 停用 |
| CLARIN-Linkchecker | CLARIN-Linkchecker | 未分类 | — | — | 无视 | 停用 |
| Adsbot | Adsbot | 未分类 | — | — | 无视 | 停用 |
| Dataprovider.com | Dataprovider.com | 未分类 | — | — | 无视 | 停用 |
| FluidApp | FluidApp | 未分类 | — | — | 无视 | 停用 |
| OnlineDomainTools | OnlineDomainTools | 未分类 | — | — | 无视 | 停用 |
| Fake-Googlebot | Fake-Googlebot | 未分类 | — | — | 无视 | 停用 |
| The Knowledge AI | The Knowledge AI | 未分类 | — | — | 无视 | 停用 |
| Slackbot-LinkExpanding | Slackbot-LinkExpanding | 未分类 | — | — | 无视 | 停用 |
| Fake bot | Fake bot | 未分类 | — | — | 无视 | 停用 |
| Photon | Photon | 未分类 | — | — | 无视 | 停用 |
| EFF crawler | EFF crawler | 未分类 | — | — | 无视 | 停用 |
| Headline Bot | Headline Bot | 未分类 | — | — | 无视 | 停用 |
| Irokez.cz monitoring | Irokez.cz monitoring | 未分类 | — | — | 无视 | 停用 |
| Neticle Crawler | Neticle Crawler | 未分类 | — | — | 无视 | 停用 |
| seoscanners.net | seoscanners.net | 未分类 | — | — | 无视 | 停用 |
| Synthesio | Synthesio | 未分类 | — | — | 无视 | 停用 |
| AppNexusAdsTxtCrawler | AppNexusAdsTxtCrawler | 未分类 | — | — | 无视 | 停用 |
| uMBot-FC | uMBot-FC | 未分类 | — | — | 无视 | 停用 |