NVIDIA Bryan Catanzaro：为什么算力还不够？

NVIDIA副总裁Bryan Catanzaro在The MAD Podcast中深入探讨了芯片公司为何投入大量资源自建AI模型并免费开源。他指出，这并非简单的慈善行为，而是为了推动整个AI生态的发展，优化硬件利用率，并降低开发门槛，从而扩大市场对NVIDIA芯片的需求。这一战略与NVIDIA在深度学习框架（如cuDNN）和模型训练框架（如Megatron）上的早期投入一脉相承。

关于开放与封闭AI之争，Catanzaro认为开源模型在特定任务上已接近甚至超越闭源模型，但闭源模型在商业化和用户体验上仍有优势。他特别提到，美国在开源模型领域并未落后中国，但中国开源社区（如智谱、阿里等）的快速崛起确实给全球带来了竞争压力。

节目重点介绍了Nemotron 3 Ultra的技术创新：采用4-bit预训练（NVFP4）大幅降低计算和存储成本；混合Mamba-Transformer架构结合了状态空间模型的高效性和Transformer的强表达能力；多专家模型（MoE）和多token预测进一步提升了训练和推理效率。此外，多教师蒸馏技术让Nemotron能从多个高性能教师模型中学习，实现知识迁移。

Catanzaro还罕见地分享了NVIDIA研究组织的运作方式，以及他在Baidu与Andrew Ng、Dario Amodei共事的经历。他认为，高效的研究组织需要平衡长期探索与短期工程落地，而NVIDIA通过内部竞赛、跨团队协作和开源文化实现了这一目标。

对于中文AI/科技读者而言，本期内容极具价值：它不仅揭示了全球最大AI芯片公司的战略思考，还提供了开源模型技术前沿的详细解读，有助于理解AI基础设施的未来走向。