## AI 抓取对 MetaBrainz 等开放数据项目的影响 最近的 Hacker News 讨论强调了 MetaBrainz 等开放数据项目因激进的 AI 抓取而面临的挑战。MetaBrainz 愿意分享其数据，但 AI 机器人没有利用提供的批量下载（如 tarballs 或 torrents），而是低效地逐页抓取网站。这会使志愿者运营的基础设施超载，并迫使项目实施保护措施，如 API 身份验证，从而阻碍了合法用户。 核心问题是协调问题：机器人假设网站主动*隐藏*数据，拒绝尊重高效访问的请求。讨论的解决方案包括网站提供更好的信号（例如，通过指向数据转储的 `.well-known` 路径），Cloudflare 的 AI 检测服务（尽管可能存在可用性缺点），甚至修改版权以激励数据共享。 许多评论员强调了其中的讽刺意味——AI 公司可以很容易地支持这些项目，但反而将数据获取成本外部化。一些人建议通过列出违规 IP/用户代理进行公开羞辱，而另一些人则指出需要标准化协议来促进网站和机器人之间的合作。最终，这场讨论凸显了开放数据原则与 AI 训练需求之间日益增长的紧张关系。