本工作提出一种两阶段方法,将预训练 Transformer 蒸馏为类似 Mamba 的状态空间模型,且不使用 Attention 块。从 Transformer 到 Mamba 的朴素跨架构蒸馏会损失教师模型性能,通常需要混合 Attention-SSM 模型。所提方法首先通过核技巧适配将 Transformer 蒸馏为线性化 Attention 模型,再将其蒸馏为适配后的 Mamba 模型。得到的 Mamba 模型保留了 Pythia-1B Transformer 的大部分性能,困惑度为 14.01,而教师模型为 13.86,下游结果相似,但在上下文召回任务上存在一些差距。消融实验考察了序列混合器选择、缩放和 token 分配。
作者作为IGF评委,描述了House House宣布在Big Walk中使用不足0.1%的LLM代码后引发的争议。IGF没有明确的AI政策,只能让评委各自判断,这对参赛者不公平。作者认为IGF迫切需要明确政策,即使部分评委不喜欢禁令:成文规则能传递社区价值观并为执行提供依据,即便不完美。若今年没有政策,House House可能因个别评委的界限而被取消资格;作者认为这是普通创意社区问责,而非公开羞辱。House House很成功,本可以雇佣帮助,其使用还加剧了对自由职业劳动力的更广泛伤害。愿意押上声誉的评委值得尊重。作者厌倦了辩论,并看到AI正常化上升,但支持制定并维持自身规则的社区,如PROCJAM的禁止生成式AI规则。