从Token消耗竞赛到可信吞吐量——Mingsheng Hong谈Ironclad的AI工程实践

在AI工程实践中，许多团队会建立Token使用仪表板来追踪成本，但Ironclad的Mingsheng Hong提醒，这容易引发内部竞争，导致资源浪费。他将仪表板定位为“烟雾探测器”，用于发现异常，而非排名工具。例如，某团队Token使用量异常低，可能意味着他们未充分利用AI，值得沟通。这一观点与“代码行数”指标类似，追踪有价值，但优化则有害，因为删除代码往往更优。

Ironclad的指标演进体现了对价值的关注：从代码行数到开放PR，再到合并PR，最终采用按复杂度加权的合并PR。因为十行并发修复的价值远超千行样板代码。这种演进在公开中迭代，反映了团队对衡量真实产出的追求。

Mingsheng提出“可信吞吐量”概念，指通过客观检查、人工审查和客户接触的工作。这强调质量而非数量，避免仅优化成本而忽视价值。当前瓶颈已从代码生成转移到审查和CI，缓慢的流水线会促使工程师提交大型批量PR，增加审查难度，降低效率。因此，优化CI和审查流程是提升可信吞吐量的关键。

对于中文AI/科技读者，这一实践提供了可复用的方法论：在AI工具普及后，如何建立合理的度量体系，避免陷入“为用而用”的陷阱。Ironclad的案例展示了从成本导向到价值导向的转变，值得借鉴。