收录各大搜索引擎与商业爬虫的 User-Agent、抓取行为、渲染能力与来路 IP 数据，为站长提供「识别 - 分析 - 拦截」全流程参考。取名源自镇守门户的瑞兽，为网站守住爬虫访问的大门。
| User-Agent | 爬虫名称 | 类型 | 抓取频率 | 抓取深度 | 遵守 Robots | 是否活跃 |
|---|---|---|---|---|---|---|
| InfoTigerBot | InfoTiger | 学术蜘蛛 | 自适应：优质站点 3–7 天 / 次，普通站 14–30 天 / 次 | 默认 2–3 层，聚焦有效内容页，过滤无效链接 | 遵守 | 活跃 |
| ia_archiver | ia_archiver | 学术蜘蛛 | 低 | 深 | 遵守 | 活跃 |
| archive.org_bot | archive.org_bot | 学术蜘蛛 | 中（持续存档） | 深（全量抓取） | 遵守 | 活跃 |
| special_archiver | special_archiver | 学术蜘蛛 | 中 | 深 | 遵守 | 活跃 |
| Heritrix | 互联网档案馆 | 学术蜘蛛 | 按需 | 深（全量抓取） | 遵守 | 活跃 |
| TurnitinBot | TurnitinBot | 学术蜘蛛 | 中（每周） | 深 | 遵守 | 活跃 |
| WanfangSpider | 万方数据 | 学术蜘蛛 | 中（每周） | 定向（学术页面） | 遵守 | 活跃 |
| NLC-Crawler | 中国国家图书馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| CAS-Bot | 中国科学院 | 学术蜘蛛 | 中（每日） | 定向 | 遵守 | 活跃 |
| LOC-Crawler | 美国国会图书馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| NARA-Crawler | 美国国家档案馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| LAC-CA-Bot | 加拿大图书档案馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| NLA-WebArchive-Bot | 澳大利亚国家图书馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| DNB-DE-Crawler | 德国国家图书馆 | 学术蜘蛛 | 低（每周） | 深 | 遵守 | 活跃 |
| citeseerxbot | citeseerxbot | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| Turnitin | Turnitin | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| europarchive | europarchive | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| web-archive-net | web-archive-net | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| integromedb | integromedb | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| bnf | bnf | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| SemanticScholarBot | SemanticScholarBot | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| BUbiNG | BUbiNG | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| archive | archive | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| Trove | Trove | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| LinkArchiver | LinkArchiver | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| Thinklab | Thinklab | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| ArchiveBot | ArchiveBot | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| Blackboard | Blackboard | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| CISPA | CISPA | 学术蜘蛛 | 未知 | — | 无视 | 停用 |
| MaCoCu | MaCoCu | 学术蜘蛛 | 未知 | — | 无视 | 停用 |