收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据,为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽,为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| VA-Bot | VA-Bot | 未分类 | — | — | 无视 | 停用 |
| SSA-Bot | SSA-Bot | 未分类 | — | — | 无视 | 停用 |
| EPA-Bot | EPA-Bot | 未分类 | — | — | 无视 | 停用 |
| FTC-Bot | FTC-Bot | 未分类 | — | — | 无视 | 停用 |
| SEC-Bot | SEC-Bot | 未分类 | — | — | 无视 | 停用 |
| FCC-Bot | FCC-Bot | 未分类 | — | — | 无视 | 停用 |
| NSF-Bot | NSF-Bot | 未分类 | — | — | 无视 | 停用 |
| NIH-Bot | NIH-Bot | 未分类 | — | — | 无视 | 停用 |
| NEH-Bot | NEH-Bot | 未分类 | — | — | 无视 | 停用 |
| Smithsonian-Bot | Smithsonian-Bot | 未分类 | — | — | 无视 | 停用 |
| Sitemap-Google | Sitemap-Google | 未分类 | — | — | 无视 | 停用 |
| Google Page Speed Insights | Google Page Speed Insights | 未分类 | — | — | 无视 | 停用 |
| Bingbot-Image | Bingbot-Image | 未分类 | — | — | 无视 | 停用 |
| Bingbot-Video | Bingbot-Video | 未分类 | — | — | 无视 | 停用 |
| Bingbot-News | Bingbot-News | 未分类 | — | — | 无视 | 停用 |
| Sitemap-Bing | Sitemap-Bing | 未分类 | — | — | 无视 | 停用 |
| YahooImage | YahooImage | 未分类 | — | — | 无视 | 停用 |
| YahooVideo | YahooVideo | 未分类 | — | — | 无视 | 停用 |
| YahooNews | YahooNews | 未分类 | — | — | 无视 | 停用 |
| DuckDuckBot-Image | DuckDuckBot-Image | 未分类 | — | — | 无视 | 停用 |
| DuckDuckBot-Video | DuckDuckBot-Video | 未分类 | — | — | 无视 | 停用 |
| AmazonAdsBot | AmazonAdsBot | 未分类 | — | — | 无视 | 停用 |
| AmazonProductBot | AmazonProductBot | 未分类 | — | — | 无视 | 停用 |
| facebookexternalhit-image | facebookexternalhit-image | 未分类 | — | — | 无视 | 停用 |
| facebookexternalhit-video | facebookexternalhit-video | 未分类 | — | — | 无视 | 停用 |
| Twitterbot-Image | Twitterbot-Image | 未分类 | — | — | 无视 | 停用 |
| Twitterbot-Video | Twitterbot-Video | 未分类 | — | — | 无视 | 停用 |
| TwitterPreview | TwitterPreview | 未分类 | — | — | 无视 | 停用 |
| Pinterestbot-Image | Pinterestbot-Image | 未分类 | — | — | 无视 | 停用 |
| Pinterestbot-Video | Pinterestbot-Video | 未分类 | — | — | 无视 | 停用 |