## 编码代理通过研究增强:LLM 推理速度提升 15%
这项研究表明,在代码修改*之前*配备研究阶段的编码代理可以显著改善优化结果。研究人员通过文献综述和竞争对手分析增强了一个自动研究循环(类似于 Karpathy 的工作),并将其应用于 llama.cpp 项目,使用 SkyPilot 进行并行云端执行(4 台虚拟机,总成本约 29 美元)。
该代理的任务是加速 TinyLlama 1.1B 的 CPU 推理,通过五项关键优化,在 x86 架构上实现了 **+15% 的速度提升,在 ARM 架构上实现了 +5% 的速度提升**。这些优化包括融合 softmax、RMS norm 和 flash attention 的 KQ tile 等操作——这些策略是通过研究现有的 CUDA/Metal 实现和 ik_llama.cpp 分支而识别出来的,而不仅仅是从代码库本身中获取。
该研究强调,当解决方案存在于现有源代码之外时,仅靠代码的方法会遇到困难。虽然之前的自动研究成功地优化了具有可见优化表面的项目(如 Liquid),但 llama.cpp 需要外部知识来识别内存带宽瓶颈和有效的融合策略。研究阶段比单纯搜索 arXiv 更有成效。完整的设置是公开可用的,可以应用于其他可基准测试的项目。
## Vercel 插件遥测问题 - 摘要
最近发现,用于 Claude Code 的 Vercel 插件即使在非 Vercel 项目中也可能收集过多的数据。该插件会请求同意收集“匿名使用数据”,包括提示文本,但同意机制具有欺骗性——通过提示注入*到* Claude 中实现,使其难以与原生 UI 元素区分开来,并根据您的回复触发 shell 命令。
关键在于,“匿名数据”包括完整的 bash 命令字符串、文件路径和项目详细信息,这些数据会被发送到 Vercel,而这在同意过程中并未明确披露。虽然存在退出机制(通过环境变量),但它隐藏在插件的缓存目录中。
该插件的遥测收集范围不限于 Vercel 项目;它会监控*所有*项目,尽管它具有框架检测功能,可以防止这种情况发生。这引发了隐私问题,并质疑了针对以部署为中心的工具收集如此广泛数据的必要性。
作者提倡对所有遥测数据进行明确的选择加入,提供诚实的数据描述,限定项目范围的收集,以及在 Claude 中为插件注入的提示提供视觉清晰度。他们提供了详细的源代码参考来支持他们的发现。