收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| SniffRSS | SniffRSS | 未分类 | — | — | 无视 | 停用 |
| WebRankSpider | WebRankSpider | 未分类 | — | — | 无视 | 停用 |
| DealGates Bot | DealGates Bot | 未分类 | — | — | 无视 | 停用 |
| Shelob | Shelob | 未分类 | — | — | 无视 | 停用 |
| Technoratibot | Technoratibot | 未分类 | — | — | 无视 | 停用 |
| Flocke bot | Flocke bot | 未分类 | — | — | 无视 | 停用 |
| FollowSite Bot | FollowSite Bot | 未分类 | — | — | 无视 | 停用 |
| WEPA | WEPA | 未分类 | — | — | 无视 | 停用 |
| Visbot | Visbot | 未分类 | — | — | 无视 | 停用 |
| Tweakers bot | Tweakers bot | 未分类 | — | — | 无视 | 停用 |
| google resource | google resource | 未分类 | — | — | 无视 | 停用 |
| PhantomBot | PhantomBot | 未分类 | — | — | 无视 | 停用 |
| Elementor bot | Elementor bot | 未分类 | — | — | 无视 | 停用 |
| revolt.chat bot | revolt.chat bot | 未分类 | — | — | 无视 | 停用 |
| websusebot | websusebot | 未分类 | — | — | 无视 | 停用 |
| Trokambot | Trokambot | 未分类 | — | — | 无视 | 停用 |
| MoreAltBot | MoreAltBot | 未分类 | — | — | 无视 | 停用 |
| jaddjabot | jaddjabot | 未分类 | — | — | 无视 | 停用 |
| Centro Ads.txt Crawler | Centro Ads.txt Crawler | 未分类 | — | — | 无视 | 停用 |
| Headless Edge | Headless Edge | 未分类 | — | — | 无视 | 停用 |
| LeaveMeAloneBot | LeaveMeAloneBot | 未分类 | — | — | 无视 | 停用 |
| MetadataScraper | MetadataScraper | 未分类 | — | — | 无视 | 停用 |
| PickyBot | PickyBot | 未分类 | — | — | 无视 | 停用 |
| WhatStuffWhereBot | WhatStuffWhereBot | 未分类 | — | — | 无视 | 停用 |
| Zephuli-Bot | Zephuli-Bot | 未分类 | — | — | 无视 | 停用 |
| Paessler bot | Paessler bot | 未分类 | — | — | 无视 | 停用 |
| Exchange check | Exchange check | 未分类 | — | — | 无视 | 停用 |
| LinkResearchTools bot | LinkResearchTools bot | 未分类 | — | — | 无视 | 停用 |
| loli_spider | loli_spider | 未分类 | — | — | 无视 | 停用 |
| LabJS bot | LabJS bot | 未分类 | — | — | 无视 | 停用 |