## AutoRound:用于LLM和VLM的超低比特量化
AutoRound是一个强大的工具包,可以将大型语言模型(LLM)和视觉语言模型(VLM)量化到2-4比特,同时最大限度地减少精度损失。它利用符号梯度下降进行优化舍入,并提供广泛的硬件兼容性(CPU、CUDA、Intel GPU、Habana Gaudi)。
主要特性包括卓越的精度——即使在4比特下也能达到领先水平——以及与Transformers、vLLM和SGLang等流行框架的无缝集成。AutoRound支持多种导出格式(AutoRound、AutoAWQ、AutoGPTQ、GGUF),并能够快速生成混合精度方案。
最近的更新包括对FP8量化、MTP层以及针对GGUF和INT2量化的增强算法的支持。它支持10多个VLM,并提供可定制的配方,用于优化速度或精度。AutoRound正在积极扩展对MXFP和NVFP等新型数据类型支持。安装通过pip非常简单,并提供夜间构建和特定硬件选项。
有关详细用法和高级配置,请参阅用户指南和项目仓库。
```
SiteMogging
两个网站进入。一个被碾压。
挑战者 Avs
挑战者 B
比较 Aura
最近的碾压:4秒前
被碾压
jpmorganchase.com 0.0/10
zombo.com 2.1/10
👑 zombo.com 碾压 jpmorganchase.com
查看判决 →
由 Cloudflare Browser Run + Workers AI + D1 + R2 提供支持
由 @Jilles 在 Cloudflare 上制作 🧡
```
## Lovable 基础设施事件:分层故障
Lovable 经历了一系列间歇性错误——项目失败、GitHub 超时和连接重置——由于底层基础设施不稳定影响了用户。最初的日志分析证明很困难,但一个由人工智能驱动的调试代理发现了 `anetd` Pod(Google 的 Cilium 实现)的持续重启,源于 WireGuard 模块中的并发错误。
与 Google 合作,一个临时解决方案是禁用节点到节点的加密,从而解决了 `anetd` 的崩溃。然而,很快出现了新的连接到其内存数据存储 Valkey 的失败。调查发现最大传输单元 (MTU) 配置不匹配;一些节点保留了启用 WireGuard 时使用的较低 MTU,在禁用加密后导致碎片问题。完全重新滚动节点以标准化 MTU 解决了 Valkey 错误。
该事件强调了识别分布式系统中的*分层*故障以及彻底的变更后验证的重要性。Lovable 学到了人工智能辅助调试的价值,以及在供应商评估存在差异时信任内部专业知识的价值。Google 此后已修复了最初的 WireGuard 错误。
## 放弃 GitHub:SourceHut 简介
本指南建议开发者从 GitHub 迁移到 SourceHut,理由是担心微软的拥有权、数据隐私、遥测、专有性质以及潜在的审查制度。虽然自托管是理想选择,但 SourceHut 为缺乏资源的开发者提供了一个可行的替代方案。
核心论点在于重新获得控制权并优先考虑开源原则。SourceHut 的特点是其对隐私的强烈承诺——最小的数据收集、无跟踪、无人工智能功能——这与 GitHub 的数据驱动方法和 Copilot 形成鲜明对比。
SourceHut 通过“补丁”(通过电子邮件替代拉取请求)、功能性的“待办事项”(Issues)、使用 YAML 配置的“构建”(Actions)、简单的“页面”(静态网站托管)和简单的“手册”(Wiki 页面)来实现功能对等。
SourceHut 采用分层订阅模式(每月 2-10 美元),并为贡献者或有经济需求的人提供免费服务。作者赞扬 SourceHut 的基于电子邮件的工作流程和缺乏游戏化,从而促进了更专注和协作的开发环境。最终,本指南鼓励开发者尝试 SourceHut,并考虑从 GitHub 的集中式专有生态系统中转移。
## 破裂的社会契约与日益增长的安全风险
失业四个月后,一次面试凸显了一个令人不安的趋势:雇主严重低估了薪酬的真实成本。一个高级技术职位——负责整个组织的技术基础设施,包括关键公共安全系统——提供的薪水仅略高于维持生计的水平。
这并非个例,而是工资仅仅被视为劳动报酬,忽略了其在社会稳定和组织安全方面关键作用的更大转变的一部分。工资不仅仅是为了生存,更是“保护费”——防止破坏、倦怠和脱离。
数十年停滞不前的工资和不断上涨的成本已经将工人推到了极限。从会计到信息技术专业人员,越来越多的技术娴熟的员工愿意冒公司安全的风险——通过疏忽、举报,或更糟——当他们感到不被重视时。投资员工不仅是道德的,也是一项重要的安全措施。
忽视这一现实,并依赖人工智能等技术“补救措施”,是一场危险的赌博。作者警告说,未能充分补偿工人正在破坏一项基本的社会契约,并最终将导致代价高昂的后果——甚至可能导致系统性失败。