由德国人工智能联邦协会(KI Bundesverband)协调的德国研究联盟发布了 **Soofi S 30B-A3B**,这是一个在慕尼黑德国电信工业人工智能云上训练的开源大语言模型。
Soofi S 采用了与英伟达 Nemotron 3 Nano 类似的混合 Mamba-Transformer 架构,并利用了专家混合(MoE)设计。它包含 316 亿个总参数,但每个 token 仅激活 32 亿个参数,从而在长上下文窗口(最高支持 256,000 个 token)中实现了高吞吐量和高效性能。
Soofi S 基于 27 万亿个 token 进行训练,并特意强调了高质量的德语数据。目前,它在英语和德语基准测试中领先于所有完全开源的模型,表现优于 Apertus 70B 和 OLMo 3 32B 等规模更大的竞争对手。尽管一些评论家认为该模型基于经典的缩放定律属于“过度训练”,但项目负责人坚称这些规则不适用于现代的 MoE 架构。尽管在数学和事实检索方面存在细微弱点,但该项目代表了欧洲在人工智能主权方面迈出的重要一步,在训练数据、代码和基础设施方面提供了高度透明度。未来阶段将专注于工业应用,包括技术文档和基于代理的系统。
前NASA承包商保罗·卢图斯(Paul Lutus)作为“俄勒冈隐士”在计算机行业内成为了一段传奇。为了寻求安静的生活,他搬进了俄勒冈州一间没有电的偏远小屋,却在1976年购买了一台Apple II后,被卷入了方兴未艾的个人计算机革命。
卢图斯在与世隔绝的环境中工作,将对大自然的热爱与编程技能相结合,开发出了当时最畅销的文字处理软件之一——《Apple Writer》。他的经历证明了复杂而优雅的软件(例如他那款不会崩溃的文字处理器),往往由个人而非大型官僚委员会开发效果更好。
卢图斯提倡“电子小屋”的概念,主张技术促进了个体创造力的新时代。通过自动化处理琐碎任务,计算机赋予了开发者在自然、安静的环境中工作的自由。尽管卢图斯承认偏爱机器的一致性而非复杂的人际关系可能存在隐患,但他拥抱平衡的生活。他始终坚定地认为数字时代有利于个人,并证明了重大的技术突破往往源于孤独的创新者,而非企业团队。