Cloudflare推出了一项阻止AI数据抓取程序的功能，引发了对其有效性和影响的讨论。该工具允许网站所有者阻止AI机器人，包括那些遵守`robots.txt`的机器人，这引发了人们对它会激励抓取程序进行混淆操作的担忧。虽然Cloudflare声称也会阻止违规者，但一些用户指出了现有的猫鼠游戏。 一位用户注意到该工具会更新`robots.txt`，排除已知的AI机器人，但例外的是“人工智能检索增强生成”（RAG），这一决定因其对内容创作者的潜在影响而受到质疑。一些人认为这种方法类似于搜索引擎摘要，对创作者和用户都有利。 另一些人则对依赖`robots.txt`的有效性表示质疑，因为恶意机器人往往会忽略它。人们讨论了可发现性问题，因为机器人通常对内容索引很有用。一些用户表达了对激进的机器人检测系统的沮丧，这些系统会阻止具有异常浏览模式的合法用户。