收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| gooblog | gooblog | 未分类 | — | — | 无视 | 停用 |
| mowser | mowser | 未分类 | — | — | 无视 | 停用 |
| TipTop | TipTop | 未分类 | — | — | 无视 | 停用 |
| Genderanalyzer | Genderanalyzer | 未分类 | — | — | 无视 | 停用 |
| VegeBot | VegeBot | 未分类 | — | — | 无视 | 停用 |
| PingSpot | PingSpot | 未分类 | — | — | 无视 | 停用 |
| ZnajdzFoto/ImageBot | ZnajdzFoto/ImageBot | 未分类 | — | — | 无视 | 停用 |
| WoTBoT | WoTBoT | 未分类 | — | — | 无视 | 停用 |
| lmspider | lmspider | 未分类 | — | — | 无视 | 停用 |
| Seoterritory.com | Seoterritory.com | 未分类 | — | — | 无视 | 停用 |
| Interdose AntiSpamBot | Interdose AntiSpamBot | 未分类 | — | — | 无视 | 停用 |
| GentleSource Short URL Checker | GentleSource Short URL Checker | 未分类 | — | — | 无视 | 停用 |
| Morning Paper | Morning Paper | 未分类 | — | — | 无视 | 停用 |
| dj-research | dj-research | 未分类 | — | — | 无视 | 停用 |
| ConveraCrawler | ConveraCrawler | 未分类 | — | — | 无视 | 停用 |
| VeBot | VeBot | 未分类 | — | — | 无视 | 停用 |
| IlTrovatore | IlTrovatore | 未分类 | — | — | 无视 | 停用 |
| NuSearch Spider | NuSearch Spider | 未分类 | — | — | 无视 | 停用 |
| Kyoto-Crawler | Kyoto-Crawler | 未分类 | — | — | 无视 | 停用 |
| houzzbot | houzzbot | 未分类 | — | — | 无视 | 停用 |
| etoolsbot | etoolsbot | 未分类 | — | — | 无视 | 停用 |
| Automattic Analytics Crawler | Automattic Analytics Crawler | 未分类 | — | — | 无视 | 停用 |
| TWMBot | TWMBot | 未分类 | — | — | 无视 | 停用 |
| Whynder Magnet | Whynder Magnet | 未分类 | — | — | 无视 | 停用 |
| HyperCrawl | HyperCrawl | 未分类 | — | — | 无视 | 停用 |
| YandeG | YandeG | 未分类 | — | — | 无视 | 停用 |
| NG | NG | 未分类 | — | — | 无视 | 停用 |
| polybot | polybot | 未分类 | — | — | 无视 | 停用 |
| IDwhois | IDwhois | 未分类 | — | — | 无视 | 停用 |
| oku-taka-lab-bot | oku-taka-lab-bot | 未分类 | — | — | 无视 | 停用 |