纽约大学正在提供一门独特的课程,将来自不同领域的学生——化学、计算机科学和医学——聚集在一起学习微芯片设计。 传统上,芯片设计是高度专业工程师的领域,并且受到高成本和复杂性的阻碍,但现在正变得越来越容易获取。 微芯片驱动着从手机到先进人工智能的一切,定制芯片可以极大地加速化学和生物学等领域的研究。 然而,即使制造一个复杂的芯片也需要一个庞大的团队——可能有一千名工程师——并且以难度极高而闻名,甚至可以说比火箭科学更具挑战性。 这门纽约大学的课程旨在 democratize 芯片设计,打破学生进入该领域的障碍,并可能为小型公司和学术研究人员打开创新的大门,从而在这个关键技术领域进行创新。
## 教 LLM 一种小众的图表语言:Pintora
该项目探索训练大型语言模型 (LLM) 处理 Pintora,一种不太常用的图表语言,目标是实现图表生成和编辑功能。作者发现现有的 LLM 可以轻松处理 Mermaid 和 PlantUML 等流行语言,但在处理小众选项时性能会下降。
由于资源限制,该项目专注于参数量小于 30B 的模型,最终选择了 Qwen2.5-Coder-7B。初步测试证实该模型缺乏 Pintora 知识,而是生成 PlantUML。训练分为两个阶段:持续预训练 (CPT) 以学习 Pintora 语法,以及指令微调 (IFT) 以执行特定任务。
创建了一个包含 1000-1500 个示例的数据集,最初尝试手动创建,但最终使用 AI(Gemini 和 Claude)生成,然后经过严格清理以消除语法错误。训练在 Runpod 上使用 QLoRA 进行,以管理 VRAM 限制。
最终的模型在从随机提示生成语法上正确的 Pintora 图表方面达到了 **86% 的准确率**,证明了使用相对较小的数据集成功学习。作者分享了模型、数据集和评估结果,并暗示未来将探索强化学习以及 Strudel 等其他语言。他们还推广了他们的人工智能辅助图表工具 ChatUML。