展示 HN:利用智能眼镜进行手语翻译
Show HN: Sign language translation with smart glasses

原始链接: https://github.com/aadisang/hand-wave

用于 Web 和 iOS 的手语识别,后端由一个轻量级 Python 推理服务支持。 要求:pnpm 10.33+、Node 22+、Python 3.11/3.12、uv 以及 moon。 cp .env.example .env pnpm install uv sync --project apps/inference 请记得在 .env 文件中设置 VITE_INFERENCE_URL。

开发者 Aadisang 近日发布了一个开源项目,利用 Meta 智能眼镜与人工智能将指拼(fingerspelling)实时转换为文本。该工具采用 CNN-GRU 架构并结合 KenLM 语言模型,支持 Web 和 iOS 等跨平台使用,模型目前部署在 Modal 上以确保运行性能。 该项目收到了社区反馈,指出指拼仅是手语的一部分。有评论者强调,真正的自然手语在很大程度上依赖于“非手动标记”(如面部表情和肢体语言),这些标记提供了必要的语法语境。他们建议未来的迭代版本可以将手势作为大语言模型(LLM)的 token,以更准确地捕捉语义。尽管开发者将其视为一个起点,但这些反馈强调:虽然技术可以缩小沟通差距,但学习自然手语对于与流畅使用者建立真正连接而言,是无可替代的。
相关文章

原文

Sign recognition for web and iOS, backed by a small Python inference service.

Requirements: pnpm 10.33+, Node 22+, Python 3.11/3.12, uv, and moon.

cp .env.example .env
pnpm install
uv sync --project apps/inference

Don't forget to set VITE_INFERENCE_URL in .env.

联系我们 contact @ memedata.com