“代理网络指数”(Agentic Web Index)追踪了超过 5000 个网站的生态指标,报告显示过去 90 天内与人工智能相关的机器人流量增加了 11%。该数据将网络代理分为多种类型,包括 AI 爬虫、数据提供商、搜索爬取器和 AI 助手。 **关键发现:** * **主要活动:** AI 数据爬虫(如 ClaudeBot、meta-externalagent 和 Amazonbot)在爬取总量中领先,而 ChatGPT-User 则是 AI 助手流量的主要驱动力。 * **搜索索引:** 以 PetalBot 和 Amzn-SearchBot 为首的 AI 搜索爬取器,正在为 AI 驱动的搜索结果大量索引内容。 * **安全风险:** 目前存在活跃的“机器人欺诈”活动,恶意行为者冒充合法 AI 代理,扫描网站以获取敏感配置文件和凭据。 * **Robots.txt 的有效性:** 尽管一些代理遵守“禁止访问”(disallow)规则,但其他代理经常忽略这些规则。拦截效果因代理而异。 * **AI 推荐:** 该指数追踪了 AI 平台如何引用并将人类流量引导至网站,“计算机与电子产品”成为引文和推荐流量的主要类别。 这些数据为希望管理机器人流量、优化 AI 驱动的发现以及保护数字基础设施的网站所有者提供了关键见解。