评估 AGENTS.md:它们对编码代理有帮助吗?
Evaluating AGENTS.md: are they helpful for coding agents?

原始链接: https://arxiv.org/abs/2602.11988

arXivLabs是一个框架,允许合作者直接在我们的网站上开发和分享新的arXiv功能。个人和与arXivLabs合作的组织都拥抱并接受了我们开放、社群、卓越和用户数据隐私的价值观。arXiv致力于这些价值观,并且只与坚持这些价值观的合作伙伴合作。您是否有为arXiv社群增加价值的项目想法?了解更多关于arXivLabs的信息。

最近一篇研究论文(arxiv.org)评估了向编码代理提供“Agents.md”文件(提供上下文)的效果,结果出人意料地呈负面。在对Python GitHub问题进行测试的多个代理和LLM中,提供仓库上下文*降低*了任务成功率,并使推理成本增加了20%以上。 评论者认为,该研究的样本可能存在偏差,因为使用了LLM生成的库,并且只关注Python。然而,分享的个人经验表明,在上下文中包含清晰的指令(构建过程、测试、风格指南)是有价值的。 目前讨论集中在否定指令(“不要做X”)与积极指导的有效性,以及“逐步披露”(仅提供相关文档)与令牌缓存的潜在好处。LLM和工具的快速发展也使得该领域的研究迅速过时。
相关文章

原文

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

联系我们 contact @ memedata.com