边缘AI，尤其是在微控制器上的应用，面临着资源受限的挑战。虽然人们经常谈论在这些设备上“运行AI”，但具体的细节往往缺失。本文旨在揭开这一过程的神秘面纱，重点关注在受限硬件上执行真实模型。 TensorFlow Lite for Microcontrollers (tflite-micro) 是一款流行的运行时环境，它使用 `.tflite` 格式，该格式编码了模型权重和计算图。这个计算图使用定义好的运算符，类似于处理器的指令，这些运算符通过“内核”实现。 内核的实现方式多种多样，有些针对特定硬件进行了优化。例如，简单的加法运算符可以用纯C语言实现，也可以使用ARM Cortex-M的扩展功能（如DSP（SIMD）或MVE（Helium））进行加速。这些扩展提供了并行处理能力，显著提高了性能。 对于像Alif Ensemble E3这样的配备Ethos-U NPU的设备，模型使用Vela进行编译，将运算符序列替换为一个自定义运算符，将推理卸载到NPU。这展示了优化的全貌，从基于软件的优化到专门的硬件加速。后续文章将探讨 `.tflite` 编码和内核的运行时调用。
每日HackerNews RSS
LooksMapping
3 天前
作者悲叹网络从个人创作的网络转变为由广告收入和“无所谓文化”驱动的中心化平台所主导的局面。比特币去中心化金融的梦想已被专注于“图表上涨”骗局而非真正效用的骗子们所利用。 这种“无所谓”的心态现在充斥着一切，大型语言模型 (LLM) 和人工智能就是其缩影。LLM 并非成为有用的工具，而是生成听起来合理但却常常错误或无用的“内容”，优先考虑输出而非准确性。那些从用人工智能取代人工输入中获利的人，助长了贬低实际技能和努力的普遍态度，从而加剧了这一问题。作者认为，真正的价值在于创造和批判性思维，而这些都受到了容易生成的“无所谓”内容的威胁。他们敦促读者创造事物并在网上分享。