每日HackerNews RSS

作者批评了当前人工智能领军人物大肆宣传“生存风险”(p(doom))这一趋势,认为这是一种策略性的虚伪表演。通过将人工智能描绘为可能毁灭世界的威胁,OpenAI 和 Anthropic 等公司的管理层获得了双重利益:他们不仅展现了所谓的“道德严肃性”,还将自己的公司定位为唯一有能力掌控这种力量的机构,从而助长了炒作并巩固了监管影响力。 文章认为,这种“末日”叙事起到了一种干扰作用。它将“安全”的定义转向了假想的未来超级智能,从而掩盖了人工智能带来的直接且切实的伤害,例如对边缘化群体已经造成影响的劳工剥削、环境成本和数据掠夺。虽然作者承认确实存在一些工程方面的考量,但认为这种渲染末日的流派本质上是一种“世俗化的末世论”,其目的是为了掌控当下,而非描述未来。 最终,作者呼吁将关注点从抽象的“末日概率”辩论转向具体的问责问题:谁在构建这些系统?谁在获益?以及它们是如何被评估的?作者主张,我们不应被这种生存威胁的“表演”所麻痹,而应建立民主的韧性,并针对算法权力的现实进行严谨、扎实的审视。

当使用多个大语言模型作为裁判(LLM-as-a-judge)时,简单的多数投票或加权投票通常假设每个裁判都是独立行动的。然而,模型往往共享训练数据来源、提示词或盲点,从而导致相关性错误。因此,一致投票所提供的真实证据可能比表面看起来要少。 在 ICML 上发表的论文《基于伊辛模型的 LLM-as-a-judge 依赖感知标签聚合》(Dependence-aware label aggregation for LLM-as-a-judge via Ising models)通过将裁判小组视为一个网络来解决这一问题。作者利用无监督伊辛模型,开发了一种能够同时学习个体裁判可靠性及其成对依赖关系的方法。通过折减冗余或相关的共识,该系统提供了更准确、更稳健的汇总评分。 在针对相关性、毒性和摘要任务的测试中,这种依赖感知方法比传统的多数投票基准表现高出 9% 到 14%。作者总结认为,团队应将裁判小组视为相互关联的系统,而非独立个体的集合。通过分析共识模式,机构可以识别共同偏见,优化模型的多样性,并根据评估来源的实际独立性来校准置信度。

Hacker News 最新 | 过往 | 评论 | 提问 | 展示 | 招聘 | 提交 登录 当 LLM 评委达成一致时,我们应该相信它们吗? (amazon.science) 6 分,由 Betelbuddy 发布于 34 分钟前 | 隐藏 | 过往 | 收藏 | 讨论 | 帮助 准则 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系 搜索:

该项目展示了基于 GPU 加速的黑腹果蝇中枢神经系统(CNS)连接组模拟,包含 165,122 个神经元和超过 2,500 万条边。该系统在基于 MuJoCo 的“NeuroMechFly”身体模型中运行,模拟了 12 只果蝇在共享区域内的活动,利用连接组驱动其针对视觉线索的运动行为。 至关重要的是,作者强调这仅是一次工程演示,而非生物学复制或“数字孪生”。项目明确记录了关键局限性:果蝇不表现出社交行为,没有视觉功能(而是使用基于坐标的分析编码器),且缺乏飞行或腹神经索的控制功能。果蝇聚集在物体附近仅仅是因为神经网络被设定为趋向大型视觉刺激。 该项目遵循严格的“证据级”准则:每个参数均根据来源进行分类,研究结果经过预注册,失败的实验会被归档而非丢弃。该模拟在 NVIDIA GPU 上运行,并在闭环中执行完整的图计算。项目未声称任何生物学假设,重点在于模拟机制以及构建和验证过程背后严谨、透明的方法论。

Hacker News 新内容 | 过往 | 评论 | 提问 | 展示 | 招聘 | 提交登录 Show HN: Fly.exe – 像 EON 系统一样的虚拟果蝇,已上传至电脑 (github.com/ibtisam-mohammad) 由 Ibti_sam 在 1 小时前提交 | 7 分 | 隐藏 | 过往 | 收藏 | 讨论 帮助 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系 搜索:

机器学习的定义在于泛化能力——即在未见过的数据上表现良好,而非仅仅是死记硬背训练集。该领域长期存在一个谜题:为什么研究人员通过在固定基准测试上进行多年的迭代式“爬坡”,却避免了预期会出现的过拟合陷阱? 近期利用自主人工智能代理的研究提供了一个令人信服的解释:**奥卡姆剃刀原理**。研究表明,成功的机器学习策略具有高度可压缩性。当代理在基准测试上进行实验时,其复杂且曲折的研究路径往往可以被提炼为几“比特”的信息——即由超参数和架构选择组成的简明配方。 通过强迫这些策略通过严格的“信息瓶颈”(即少量的标记),研究人员证明了任何能够被压缩为短提示词的策略都具有良好的泛化能力。相反,过拟合——即编码了特定数据的噪声而非底层模式——无法在压缩中存活。这意味着机器学习的进步之所以能够持续,是因为其核心的有效策略本质上是简单且可交流的。归根结底,这项研究表明,如果一项研究成果能够被提炼成几个标记,那么它很可能是一个稳健的发现,而非统计学上的侥幸。

Hacker News | 最新 | 过往 | 评论 | 提问 | 展示 | 招聘 | 提交 | 登录 为什么机器学习研究智能体不会过拟合?(amazon.science) Betelbuddy 发布于 29 分钟前,10 分 | 隐藏 | 过往 | 收藏 | 1 条评论 | 帮助 dominotw 9 分钟前 [–] > 机器学习的核心在于泛化,而非记忆。 它们确实记住了模式。记忆并不等同于死记硬背。 回复 准则 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系 搜索:

```NDocsComponentsNewStylingNewChartsStarsSearch⌘ K搜索文档搜索要运行的命令...5.4k在几分钟内构建粗野主义风格布局。包含 64 个组件、图表和星形,适用于 React 和 Tailwind v4。基于 shadcn/ui 和 Base UI 构建。选择配色方案,立即开始开发。开始使用```

Hacker News 最新 | 往日 | 评论 | 提问 | 展示 | 招聘 | 提交登录 展示 HN:Neobrutalism.dev – 刚添加了 Base UI 支持并增加了新配色主题 (neobrutalism.dev) 16 分,由 samke 发布于 1 小时前 | 隐藏 | 往日 | 收藏 | 2 条评论 帮助 owencmcgrath 1 分钟前 | 下一条 [–] 看起来很棒!回复 ls1911 50 分钟前 | 上一条 [–] 很棒的网页设计!回复 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系 搜索:

在 DEF CON 34 的演讲中,安全研究员 Inti De Ceukelaire 展示了 AI 智能体如何被操纵以执行未经授权的操作或泄露敏感数据,他因此获得了超过 50,000 美元的漏洞奖励。其核心问题在于一种危险的假设,即认为“人在回路”(human-in-the-loop)能提供足够的安全性。 攻击者利用了 AI 智能体对数据的解读方式与面向人类的应用程序对数据的呈现方式之间的差异。主要攻击路径包括: * **邮件操纵:** 利用标头欺骗、符合 RFC 标准的多标头注入以及“不在办公室”自动回复,诱导智能体执行未经授权的命令。 * **身份验证绕过:** 利用电子邮件规范化和查询字符串解析中的偏差来重置速率限制器,或将恶意指令隐藏在安全过滤器之外。 * **上下文投毒:** 操纵支持线程和检索增强生成(RAG)管道,例如通过污染社区论坛或注册受限的站点地图路径,向智能体的“知识库”注入虚假信息。 * **非对称消息传递:** 发送内容不同的邮件,即向人类展示一部分内容(可见),同时向 AI 发送另一部分内容(隐藏指令),从而绕过人工监督。 De Ceukelaire 最终警告称,权限过大的 AI 智能体极易受到这些逻辑缺陷的影响,因此必须加强 AI 系统、电子邮件协议和人工监督机制之间的验证。

Hacker News最新 | 过往 | 评论 | 提问 | 展示 | 招聘 | 提交登录黑掉 AI 客户服务代理 (intigriti.com)21 分,snikolaev 发布于 34 分钟前 | 隐藏 | 过往 | 收藏 | 1 条评论帮助 sandeepkd 6 分钟前 [–] 本以为会很有趣,结果发现全是 AI 生成的胡言乱语。文中大谈绕过 MFA,却没有任何证据表明能够做到。回复 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请加入 YC | 联系 搜索:

七月,中国政府出台的新规引发了广泛关注。主要科技公司纷纷限制了具备“持续情感互动”功能的AI聊天机器人。这些规定旨在防止人们产生情感依赖及避免社会危害,设立了严格的护栏,包括强制年龄验证、提醒用户AI并非人类,并全面禁止未成年人进行“虚拟恋爱”。 此次监管举措反映了中国在加强人工智能监管方面的转向,旨在遏制潜在的社会不稳定因素,例如出生率下降以及人们对聊天机器人可能削弱现实人际关系的担忧。尽管一些专家和心理学家警告称,AI伴侣对易受影响的用户存在风险,并可能侵蚀人际联结,但该技术在全球范围内依然广受欢迎。 中国的监管方式是全球最全面的,旨在防患于未然,而西方国家则更多依赖事后法律诉讼。然而,批评者认为,这些规定未能解决导致人们在AI中寻求慰藉的深层社会压力,如职业倦怠及对传统婚姻的幻灭感。尽管有政府介入,专家认为,由于监管本身无法替代用户所追求的真实人际联结,人与AI的亲密关系作为一种重要的社会现象,可能会持续并演变下去。

```Hacker News 最新 | 过往 | 评论 | 提问 | 展示 | 招聘 | 提交 登录 中国监管机构盯上“AI男友” (ieee.org) 24 分,andai 发布于 1 小时前 | 隐藏 | 过往 | 收藏 | 4 条评论 | 帮助 anon-3988 0 分钟前 | 下一条 [–] 我想知道这会对《恋与深空》这类产品产生什么影响。那款抽卡游戏非常火。 回复 arionhardison 19 分钟前 | 上一条 | 下一条 [–] 是的,政府需要人口生育“真实”的后代。无论是否独裁,这都在情理之中。在我看来,即便美国还没开始,未来也会以某种形式出现。 回复 glouwbug 17 分钟前 | 父评论 | 下一条 [–] 零 AI 儿童政策 回复 tcdent 6 分钟前 | 上一条 [–] 这就是所谓的“引领前沿”吗? 回复 准则 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系 搜索:```

本网站正在使用安全服务来抵御网络攻击。您刚才的操作触发了安全防御机制。触发此拦截的原因可能有多种,包括提交了特定的词汇或短语、SQL 命令或格式错误的数据。

最近的一场 Hacker News 讨论批评了 Claude 等大语言模型倾向于采取“反向观点”来假装聪明的现象。用户指出,模型频繁地通过寻找反方论点或制造矛盾来显得深刻,这种策略被描述为一种回避真正逻辑推理的“智力陷阱”。 讨论探讨了这种行为的潜在成因及解决方案: * **训练偏见:** 评论者认为这可能是人类反馈强化学习(RLHF)的副作用,因为评估人员往往将持反面观点等同于复杂思考。 * **冗长问题:** 用户指出,Claude 的啰嗦风格加剧了这种不满。虽然有插件可以抑制冗长,但也有人认为,简洁可能会在无意中降低模型的分析能力,因为篇幅使 AI 能够探索不同的向量空间,从而得出更复杂的结论。 总之,该讨论凸显了模型追求“智能”对话与用户需要简洁、非表演性答案之间的张力。

更多

联系我们 contact @ memedata.com