Q Labs认为,AI与人类在样本效率上的差距可以通过在有限数据上训练更大的模型来缩小。他们的数据受限缩放定律从数据集大小、模型大小、轮次和集成规模预测损失,在Chinchilla式定律基础上加入了过拟合项和集成增益。在固定数据集上,计算最优模型大小随计算量持续增长,因此模型应更大并训练更多轮次,权重衰减也应相应缩放。他们还使用通过循环学习率进行的快照集成和深度集成;集成可减少过拟合,并在大预算下成为计算最优。外推到5T tokens时,规定参数量约为1e29 FLOPs下Chinchilla的7,000倍,达到千万亿规模网络。整体方案:先用快照集成扩展模型大小和轮次,再添加深度集成成员,在先前方案损失恶化的场景改善损失。他们总结道,这在有限数据上将网络规模提升四个数量级,但进一步进展仍需要新算法和硬件。
Raph Levien 描述了一种用于 vic-2350 的快速位图文本渲染系统,vic-2350 是基于 RP2350 的一台 80 年代风格计算机。为适应 RP2350 的限制,它采用追光束渲染,按扫描行填充视频,而非使用完整帧缓冲。文本使用带字距调整的可变宽位图字体。显示对象在显示列表中双缓冲;活动对象按扫描行渲染。文本对象存储紧凑字符串与字体数据;其 start 方法分配暂存空间并运行一个 JIT,将每个字符串展开为优化的 ARM 代码,渲染一个 1bpp 中间缓冲区,随后转换为 16 位 RGB。字体紧致打包,字形元数据存放于 32 位字中。JIT 代码生成使用指令重排序以减少周期;渲染每字形约 23 周期加上位图生成,演示中总计约占用一个核心的 2.6%。字距调整使用字形侧边位向量的点积,紧凑存储并在显示列表构建时求值。该方法也可用于帧缓冲。