如果 AI 的处理速度达到每秒 100 万个词元，会怎么样？

如果 AI 的处理速度达到每秒 100 万个词元，会怎么样？
What if AI worked at 1.000.000 tokens per seconds?

原始链接: https://www.echohive.ai/one-million-tokens-per-second

一个交互式工作负载选择器和 logarithmic scale slider? 对数刻度滑块，用于对比从每秒 100 到 1,000,000 个输出 token 的假想写作速度。在最高速度下： - 生成 1,000 个故事结局（每个 1,000 个 token）约需 1 秒； - 生成 40 份应用草稿（每份 20,000 个 token）约需 0.8 秒； - 生成 10,000 条批评意见（每条 300 个 token）约需 3 秒； - 完成 10,000 次排练（每次 1,000 个 token）约需 10 秒。在每秒 100 个 token 的速度下，相同工作负载分别约需 2 小时 47 分钟、2 小时 13 分钟、8 小时 20 分钟和 27 小时 47 分钟。这些估算仅计算输出内容，并非模型实测数据。估算不包括阅读、排序、工具调用、权限授予、测试、部署、人工投入和实验。Token 预算表示可用的写作额度，并不等同于已完成的产品。

一场 Hacker News 讨论探讨了每秒生成 100 万个 token 的大语言模型能够带来什么。评论者设想了实时创意应用，例如将舞蹈转化为音乐、在几毫秒内生成完整界面，以及把渲染、事件处理和存储直接纳入模型上下文。更快的输出还能让开发者保持心流，并提高人工审核的效率。参与者对实现时间和实际影响存在分歧。一些人预计几个月内就能达到每秒 100 万个 token；另一些人则指出内存、基础设施、成本、可靠性和质量等限制，认为这可能还需要数年，甚至永远无法广泛普及。吞吐量提高并不一定意味着不再需要人工，因为审核往往是为了保证正确性，而不是为了提速。讨论还质疑，极端的速度是否真的会改变软件，还是只会催生更多粗制滥造的 AI 内容。最后，许多人怀疑，即使基准测试表现惊人，真实系统仍可能反应迟缓，并受制于各种瓶颈。

Pick a workload, then slide the imagined speed from 100 to 1,000,000 tokens per second.

OUTPUT TOKENS1,000,0001,000 story endings × 1,000 tokens each

WRITING ONLY1 secondat 1,000,000 tokens/sec

At 1,000,000 tokens/sec, 1,000 story endings (1,000,000 output tokens) take about 1 second to write.

All four budgets at both ends of the dial

Writing-only time at illustrative speeds, not measurements.
Workload	Output tokens	100 tokens/sec	1,000,000 tokens/sec
1,000 story endings × 1,000	1,000,000	2 h 46 min 40 s	1 second
40 app drafts × 20,000	800,000	2 h 13 min 20 s	0.8 seconds
10,000 critiqued candidates × 300	3,000,000	8 h 20 min	3 seconds
10,000 rehearsals × 1,000	10,000,000	27 h 46 min 40 s	10 seconds

Imagined comparisons, not measurements of any model. Times count generated output only: no reading, ranking, tool calls, permissions, tests, deployment, people or experiments. A budget is a writing allowance, not a finished product.

如果 AI 的处理速度达到每秒 100 万个词元，会怎么样？ What if AI worked at 1.000.000 tokens per seconds?

如果 AI 的处理速度达到每秒 100 万个词元，会怎么样？
What if AI worked at 1.000.000 tokens per seconds?