文本解释了并发请求会持续流经推理流水线,而不是等待批处理。它指出并发度或批大小本身都不能衡量效率;有意义的吞吐量是在相同输出生成速度下,单位功率的总 token 吞吐量(例如每兆瓦每秒 token 数)。它还描述了通过计算权重和请求状态的内存、将模型分布到晶圆上并连接成流水线,从而扩展到 3T 参数以上,每增加一个晶圆都会贡献计算能力和片上内存。最后,它邀请在 Cerebras 上部署模型或使用其推理云进行构建。
Marcin Wichary 2021年5月20日 / 28条推文 / 19张照片 这是一个2021年Twitter帖子串的存档。那天,Figma允许多位员工“接管”其社交账号,我也是其中之一。版权所有 © Marcin Wichary。最初发布于2021年5月20日。此存档版本发布于2025年8月9日。