为 TQ4_1S (5.0 bpv) 和 TQ3_1S (4.0 bpv) WHT 旋转权重压缩类型添加了 CUDA 反量化。这些在 Qwen/Phi 系列上实现了 27-37% 的模型尺寸缩减,PPL 增加 +1.0-1.9%。基础类型 + Metal + CPU 量化/反量化来自 TheTom 的 PR TheTom#45。CUDA 补充:- turbo-quant.cuh:权重质心(N(0,1) Lloyd-Max,16/8 级),32 元素逆 WHT 的符号数组 - dequantize.cuh:dequantize_tq4_1s/tq3_1s — 完整的 32 元素块逆 RHT(5 个蝶形阶段 + 归一化 + 取消符号) - convert.cu:所有 4 个反量化分派器中的 TQ4_1S/TQ3_1S - ggml-cuda.cu:支持 MUL_MAT 和 GET_ROWS 的操作,从 mmvq/mmq 中排除(使用 cuBLAS 反量化到 f16 路径)。cuBLAS 路径对于初始支持是正确的。未来优化:通过 warp shuffle WHT 预旋转激活(与 KV 缓存 Q 旋转相同的模式)以消除每个块的逆 WHT。共同作者:Claude Opus 4.6 (1M 上下文) <[email protected]>
## 百科全书中的发现
最近获得了一本1975年版的《不列颠百科全书》,由此展开了一段引人入胜的探索之旅。在浏览时,除了原本想了解的宇宙学之外,关于非凡树木的条目吸引了我的注意。
百科全书揭示了**红树林**独特的适应性,它们在保护海岸线的同时向海洋蔓延,以及巨大的**榕树**——印度的一棵据说能容纳约20,000人!其他引人注目的树木包括具有建筑特性的**ombú树**、储水的**旅行者树**,以及开花仅一次,数十年后便会死亡的**棕榈树**。
这套书还详细介绍了诸如沉重的**双子椰**、高耸的**海岸红杉**(比自由女神像更高)以及古老的**刺果松**(超过4,800年树龄)等植物学奇观。更令人惊讶的是像**老Tjikko**(9,568年树龄)和**潘多**这样的克隆群落,它们看起来像一片广阔的森林,占地106英亩,但实际上是单一的有机体。
这次探索突出了树木令人难以置信的多样性和韧性,激发了我进一步了解自然世界的愿望。