作者探讨了递归人工智能(即模型以自身输出为食)所带来的风险,并通过测试语言模型在面对反复、开放式重写时的表现进行了验证。虽然简单的确定性任务保持稳定,但创意写作在经历迭代提示时会出现“模型漂移”。 作者通过要求 Gemini 反复“改进”雷蒙德·钱德勒的一段经典文字,展示了模型如何逐渐丧失原文的细微差别。文笔经历了“隐喻崩溃”,从钱德勒扎实、生动的意象转变为越来越古怪且激进的描述。经过三十一次迭代后,润色后的文本变成了一种超现实的、带有恐怖色彩的原作讽刺画。该实验说明了递归人工智能循环如何迅速削弱质量与意义,将模型推向偏离起点、极端且不稳定的输出。
随着人工智能生成图像的发展速度超过了检测工具,焦点正转向“拍摄证明”(Proof of Capture),即在源头验证真实性。受此挑战启发,作者与亚历克斯·霍恩斯坦(Alex Hornstein)利用树莓派(Raspberry Pi)和 ATECC608 加密芯片制造了一款开源相机。与容易被剔除的传统元数据不同,他们的方法使用隐写术将经过签名的感知哈希值直接嵌入图像像素中。这种水印在压缩和调整大小后依然存在,使得照片即使在分享后仍可验证。
此项进展与苹果公司新推出的“参考图像”(Reference Image)工具同期出现,该工具通过创建“数字底片”来验证相机拍摄的内容。然而,作者对苹果的专有方案表示担忧,认为它绕过了行业标准的 C2PA 框架,并将信任根集中化。
虽然这两种方法都非万灵药——“屏幕攻击”(拍摄显示屏上的虚假图像)仍是一个漏洞,但这些举措是恢复数字来源可追溯性的关键一步。作者的项目是开源的,允许任何人以不到 100 美元的成本制作自己的验证相机。