Codex 背后的工程：从推理瓶颈到网络瓶颈的转变 — Dominik Kundel, OpenAI

在 AI 工程领域，OpenAI 的 Codex 是一个备受关注的产品，它将自然语言转化为代码执行，背后涉及复杂的系统工程。Dominik Kundel 的分享揭示了当模型推理速度大幅提升后，工程瓶颈如何从计算转向网络，以及如何通过架构优化来应对。

首先，网络瓶颈的解决依赖于 WebSocket 模式。传统上，服务器发送事件（SSE）通过 HTTP 逐条推送数据，但每次请求都需重新发送全部上下文。而 WebSocket 建立持久连接，并携带状态化上下文，使得每次交互只需传输工具调用结果，大幅减少数据量。这一转变对中文开发者而言，意味着在构建类似交互式 AI 工具时，需重新评估传输协议的选择。

其次，上下文构建是另一个关键挑战。上下文窗口的大小直接影响模型性能，但过大则成本高、响应慢。Codex 的策略是让工具延迟加载，即工具定义不进入上下文，直到模型需要时才通过工具搜索获取。同时，技能列表被限制在上下文的 2% 以内，超出部分会裁剪描述。这种动态管理方式对中文 AI 应用有借鉴意义，尤其是在处理长文档或多工具场景时。

安全与用户体验的平衡也是重点。Codex 在 macOS、Linux 和 Windows 上分别使用 seatbelt、bubblewrap 和自研沙箱，确保代码执行隔离。然而，频繁的审批提示会让用户产生疲劳，进而选择完全访问权限，这反而增加安全风险。为此，团队引入了自动审查子代理，在升级权限时进行智能审核。这一机制对中文产品设计具有启示：如何在安全与便捷之间找到平衡点。

总之，Codex 的工程实践展示了 AI 产品落地时面临的真实挑战，其解决方案不仅适用于代码生成，也为其他 AI 驱动的交互系统提供了参考。对于中文 AI 从业者，理解这些底层工程细节有助于构建更高效、更安全的系统。