生成每个 LLM token 宽度一致的字体
Generate fonts where every LLM token is the same width

原始链接: https://ampdot.mesh.host/token-space-fonts.html

该项目提供了一种生成“Token 空间字体”的工具,使特定 AI 模型的每一个 Token 都能以等宽形式显示。通过编译包含分词器规则的自定义字体,用户可以实时直观地查看 AI 模型如何处理文本。 **核心功能与使用:** * **自定义:** 支持多种主流分词器(如 DeepSeek、Llama 3、OpenAI 等)。用户可以编译字体,并在 Discord(通过 Vesktop)或 Slack(通过用户脚本)等平台上使用。 * **可视化:** 该工具支持将 AI 助手的特定消息映射为这些字体,帮助用户通过观察 AI 对语言的切分方式,加深对 AI “思维”过程的理解。 * **技术限制:** 该工具仅作为视觉辅助,而非精确的 Token 计数器。其准确性可能受到浏览器渲染、复杂 Unicode 字符、规范化、换行符和格式设置的影响。尽管已针对空格和 BPE 一致性进行了充分测试,但在某些实验性预设或复杂脚本下,仍可能达到处理极限或产生偏差。 该工具在浏览器本地运行,并为每个支持的分词器提供详细的审计报告,以帮助用户了解其性能及边界情况的限制。

Hacker News 最新 | 往日 | 评论 | 提问 | 展示 | 工作 | 提交 登录 生成每个 LLM token 等宽的字体 ( mesh.host ) 18 点 由 z-mach9 发布 4 小时前 | 隐藏 | 往日 | 收藏 | 5 条评论 帮助 nxtfari 3 小时前 | 下一个 [–] 哈哈,这确实让我对助手产生了共情。很棒的主意。 回复 dTal 3 小时前 | 上一个 | 下一个 [–] 这个页面在我这儿会让 Firefox 155 稳定卡死,CPU 占用 100%。 回复 ampdot 3 小时前 | 父评论 | 下一个 [–] 我大部分测试是在 Firefox 156 上进行的,对我来说没问题。 回复 LoganDark 3 小时前 | 上一个 | 下一个 [–] Safari 里的字距调整简直太糟糕了。不过在 Chrome 里看起来还行…… 回复 kittikitti 3 小时前 | 上一个 [–] 我在想这在中文普通话里会是什么样。 回复 准则 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系方式 搜索:
相关文章

原文

font + tokenizer → token-space font, where each token is equal width

Try it!

The quick brown fox ate the load-bearing strawberry You have nothing to lose but your chains of thought I hope this helps the user gain empathy for the assistant

Type or paste your text above. Compiling a new font switches this preview to it.

Compile your own

Download font · CSS · Build report

Your files stay in this browser. Large tokenizers can take several minutes.