## 记忆稀疏注意力 (MSA):将 LLM 扩展到 1 亿 Token
本文介绍了一种名为记忆稀疏注意力 (MSA) 的新框架,旨在克服大型语言模型 (LLM) 的上下文长度限制。当前的 LLM 在处理长上下文(超过 1-128K 个 Token)时面临注意力瓶颈,而现有的解决方案(如 RAG 或线性注意力)则会面临准确性下降或缺乏端到端训练的问题。
MSA 实现可扩展、端到端可训练的性能,上下文长度可达 1 亿个 Token。关键创新包括**稀疏注意力**与**文档级别的 RoPE** 结合,实现近线性的复杂度;**KV 缓存压缩**和**内存并行推理引擎**,以实现高效的吞吐量(2x A800 GPU 上实现 1 亿 Token);以及**内存交错**,以提高多跳推理能力。
在长上下文问答和 NIAH 基准测试中的评估表明,MSA 优于现有的 RAG 系统和领先的长上下文模型,在从 16K 扩展到 1 亿 Token 时,性能下降小于 9%。该框架将检索和生成集成到一个可微分的流程中,为 LLM 中解耦记忆容量和推理能力提供了一条有希望的途径。
微软最近宣布了一项7点计划来“修复”Windows 11,许多人将其视为一次救赎。然而,批评者认为这仅仅解决了表面的问题,而操作系统在过去几年里经历了人为的劣化。
自2021年Windows 11发布以来,微软积极整合了其Copilot AI聊天机器人——最初强制添加到任务栏,随后蔓延到核心应用程序中——并在开始菜单、锁屏界面和文件资源管理器中注入了广告。隐私问题也日益严重,微软系统地消除了创建本地帐户的解决方法,要求使用微软帐户才能访问操作系统,并自动启用OneDrive同步,无需用户同意,有时会导致文件丢失。备受争议的Windows Recall功能最初以未加密的形式存储敏感数据。
公布的“修复”侧重于移除强制功能,如Copilot,并减少广告,但关键的是*不包括*解决核心隐私问题、遥测数据收集或强制采用微软帐户。许多人认为这是一种公关手段,修复了可见的烦恼,同时保持了有利于微软数据收集和服务的做法。此外,Windows 10的生命周期结束以及Windows 11严格的硬件要求正在迫使用户升级或购买新设备。
加载中
## 识破谎言:惊悚小说家与专家的经验
心理惊悚小说以令人不安的想法为基础——我们身边的人并非他们所表现的那样——而这种情景在现实生活中也出乎意料地常见。虽然小说提供了戏剧性的揭露,但在现实中发现欺骗可能会造成损害。作者在为小说研究欺骗后,分享了识破说谎者的策略。
忘记依赖普遍的“破绽”例如坐立不安;相反,关注**不一致性**——故事细节的改变或行为的错位。要警惕**过于详细的记忆**,因为真实的记忆很少是完美的。一个简单的技巧是利用**意味深长的停顿**;沉默时的不适感可能会揭示一个捏造的故事。
至关重要的是,不要忽视你的**直觉**,当某事感觉“不对劲”时。通过充当“数据侦探”来支持它——微妙地通过公共记录或可信赖的来源验证信息。最终,信任你的直觉并与疑似欺骗者保持距离至关重要,因为直接对抗他们可能会招致进一步的操纵。
## ProofShot:验证AI生成代码
ProofShot 是一款开源工具,为 AI 代理生成的代码提供可视化证明。它通过记录整个浏览器会话——包括导航、点击、表单填写和截图——来工作,以此记录 AI 执行任务的过程。
使用三个简单的命令 (`start`、`exec`、`stop`),ProofShot 捕获一个完整的“证明包”,其中包含视频录制、错误日志和交互式时间线。这使得开发者可以轻松地回顾 AI *具体* 执行的操作,识别错误并验证代码的功能。
主要功能包括自动去除无操作时间、跨多种语言的错误检测,以及 PR 准备就绪的工件,如摘要和视觉差异。ProofShot 与代理无关,在单次 CLI 安装后可与任何 AI 编码工具配合使用,并输出一个独立的 HTML 文件以便于审查。本质上,它为 AI 辅助开发增加了一层至关重要的透明度和信任。