该项目证明了在 8 美元的 ESP32-S3 微控制器上从头开始训练 Transformer 模型是可行的,超越了简单的“仅推理”应用。与运行预训练模型的项目不同,此实验直接在芯片上执行整个学习生命周期——包括随机初始化、前向传播、反向传播和权重更新。
为了克服 ESP32 有限的内存,作者实现了一个约 31.9 万个参数的模型,并将其限制在约 31 个字符的词汇表内。他们选择克林贡语作为测试平台,是因为其系统性的语法和结构化的词法,使模型能够学习语言模式而非仅仅是死记硬背。
最终产出的“微型”生成模型虽然不是一个功能性的聊天机器人,但已成功学会合成符合克林贡语结构和词法规则的文本。每一个梯度计算均使用 C 语言实现,未依赖 PyTorch 等重型框架。该实验证明了小型、低功耗硬件可以执行真正的端侧机器学习,为未来如自主传感器校准或即时学习的自适应边缘设备等应用奠定了基础。
该项目的源代码已开源,欢迎用户使用自己的数据集进行实验。
美国在镓这一金属上完全依赖中国,而镓是制造先进军用雷达和电子战系统的核心材料,这使美国面临严峻的战略脆弱性。尽管北京近期暂时放宽了部分民用镓的出口限制,但对军用级产品的禁令依然存在,这导致包括F-35下一代雷达在内的美国国防生产受到严重制约。
这种依赖并非仅仅是供应链的失效,它反映了更广泛的工业失衡。目前,中国控制了从原材料提取到高科技组件制造的整个生产流程。这种结构性优势正被应用于6G技术的竞争中。通过将材料控制与光子学和半导体领域的快速研发相结合,中国正准备主导未来全球电信标准。
归根结底,这一问题已超出了单一硬件短缺的范畴。虽然美国渴望在6G领域处于领先地位,但其国内缺乏竞争所需的采矿、提炼和工程能力。随着中国不断巩固对下一代工业互联的物理投入和技术标准的控制,美国在全球科技格局中被边缘化的风险正日益增加。