Cerebras CEO：为什么 GPU 无法实现快速推理

本期播客邀请了Cerebras CEO Andrew Feldman，深入探讨了AI推理速度的重要性及其对基础设施的影响。随着AI从训练转向生产，推理效率成为决定产品体验的关键。Feldman指出，GPU虽然在训练上表现出色，但在快速推理场景中面临内存带宽和延迟的挑战。他解释了为什么“每秒每用户token数”比单纯的模型大小更重要，以及为什么生成一个单词需要移动大量数据。

节目还讨论了Agent应用对延迟的放大效应。Agent需要多次推理和工具调用，任何延迟都会被放大，因此快速推理对Agent场景至关重要。Feldman认为，未来的AI产品将依赖于极低延迟的推理，这可能会改变SaaS的商业模式。

此外，Feldman对比了GPU、ASIC和Cerebras的晶圆级芯片在推理上的差异。他强调，内存架构（如HBM vs SRAM）对推理速度的影响巨大，而Cerebras的芯片通过将计算和内存集成在同一晶圆上，实现了更高的带宽和更低的延迟。

对于中文AI/科技读者，本期内容提供了对AI基础设施未来趋势的深刻洞察。它揭示了为什么推理速度将成为AI竞争的新战场，以及为什么GPU可能不是最佳选择。这对于关注AI芯片、基础设施和产品落地的读者具有重要参考价值。