推理工程大师课：Baseten 的 Philip Kiely 与 Ali Taha 谈推理基础设施

推理工程，这个三年前几乎不存在的领域，如今已成为 AI 工程的核心。本期节目邀请 Baseten 的 Philip Kiely 和 Ali Taha，深入探讨如何将训练好的模型高效地部署为生产级服务。Baseten 在 DeepSeek 热潮中崛起，现已融资 130 亿美元，成为 AI 基础设施领域的独角兽，其经验对中文 AI 社区极具参考价值。

节目重点讨论了量化技术。在 GLM-5.2 的实验中，对更多层进行量化不仅保持了基准质量，还使吞吐量提升了 20%，因为不同层引入的误差可以相互抵消。这一发现打破了量化必然损害性能的传统认知，为推理优化提供了新思路。

推理工程的核心问题不同于训练：如何将权重转化为快速、可靠、成本可控的产品？这涉及全新的优化问题，包括批处理策略、硬件选型、模型压缩等。Ali 还发布了对 Kimi K3 的病毒式分析，展示了开源权重模型在推理效率上的突破。

对于中文 AI 从业者，这期节目提供了宝贵的实践指南。推理基础设施的成熟度将决定 AI 应用能否大规模落地，而 Baseten 的案例表明，推理优化不仅是技术问题，更是商业战略。理解这些前沿动态，有助于在竞争激烈的市场中把握先机。