## 在“不支持”硬件上复兴AI:Orange Pi 5 & SmolVLM 该项目挑战了在瑞芯微RK3588(Orange Pi 5)上运行SmolVLM-v1视觉编码器的问题,尽管标准的rknn-toolkit2 SDK无法支持其复杂的注意力层。该芯片拥有6 TOPS的NPU性能,但最初的尝试导致30秒的推理时间,因为模型被强制在CPU上运行。 作者秉持“第一性原理”的方法,逆向工程了NPU,发现32KB L1 SRAM缓冲区的限制导致内存溢出错误。开发了一种“纳米平铺”算法,将大型注意力矩阵切分成可管理的32x32块,但编译器会积极地融合操作,抵消了修复效果。随后,引入了一个“毒丸”——一个策略性放置的虚拟操作——来防止这种融合。 进一步的挑战来自于模型的动态范围,导致INT8量化过程中精度损失。“三明治”领域偏移(CPU预/后缩放)解决了这个问题。最后,实现了一个自定义运行时调度器,将模型分片到RK3588的三个NPU核心上,绕过了驱动程序超时。 结果?**15倍加速**,将推理时间缩短到1.8秒以下,精度接近完美,证明硬件限制通常可以通过软件解决。
布莱恩·斯科特创建了“chat-tails”,这是一个为《我的世界》玩家设计的、刻意极简的聊天应用程序,优先考虑安全性和复古在线体验。他对现代聊天应用程序感到不满,因此构建了一个类似于旧 IRC 界面的系统——基于文本、短暂且只能通过 Tailscale(一种网络工具)的邀请访问。
Chat-tails 缺乏语音聊天、头像或图像共享等功能,而是专注于为朋友提供一个私密、安全的连接空间,就像在本地网络上一样。它在终端中运行,使用简单的命令进行聊天和基本操作。斯科特利用 tsnet 库和 bubbletea UI 构建了这个应用程序,强调易用性和令人愉悦的美感,尽管它很简单。
这个项目在约两天内完成,也作为一种学习工具,让用户接触到 VPN、SSH 和终端界面等技术。虽然目前仍处于早期开发阶段,但 chat-tails 提供了主流平台之外的独特选择,可能吸引那些寻求隐私、简洁或怀旧在线体验的人。
纵观音乐史,美的和谐与不和谐的表现力之间一直存在着张力。虽然许多人寻求音乐来放松和宁静,但从巴赫和莫扎特等作曲家那里出现的“不和谐音”——一个关键元素——却带来了紧张和复杂性。
20世纪,不和谐音变得占据主导地位,尤其是在勋伯格开创的序列主义中。这导致了一种专断的“体制”,常常否定传统和易于理解的音乐,甚至审查了施雷克和柯恩戈尔德等作曲家。然而,科普兰和巴伯等作曲家在这种环境中游刃有余,拥抱现代和传统风格。
最终,一种更加自由的方法出现了,承认了各种音乐语言的有效性。霍比等作曲家即使面对批评,也坚持歌颂抒情之美,而杜克·埃灵顿则肯定“听起来好听就是好”。音乐,如同其他艺术形式一样,应该涵盖完整的人类情感范围——从喜悦和慰藉到愤怒和绝望——并利用所有可用的表现工具。