OpenAI Habitat｜70M+ RPS 的在线存储如何从 Python 迁往 Rust
OpenAI 披露集中式存储平台的扩展路径：先收拢控制面，再以灰度流量验证 Rust 重写的效率与延迟。
本文核心看点
OpenAI 于 9 月 11 日披露在线存储平台 Habitat 的扩展历程。官方称，该平台目前每秒处理超过 7000 万次请求，服务每周逾 10 亿用户、近 40 个地区并承载超过 500 PB 数据。Habitat 从 Python 客户端库演变为集中式服务；2026 年第二季度，两名工程师借助 Codex 与 GPT‑5.5 完成 Rust 重写，目前承接 95% 生产请求。文中数据是 OpenAI 的内部测量，团队应借鉴迁移方法，而不是直接套用性能结论。
直接回答
OpenAI 于 9 月 11 日披露在线存储平台 Habitat 的扩展历程。官方称，该平台目前每秒处理超过 7000 万次请求，服务每周逾 10 亿用户、近 40 个地区并承载超过 500 PB 数据。Habitat 从 Python 客户端库演变为集中式服务；2026 年第二季度，两名工程师借助 Codex 与 GPT‑5.5 完成 Rust 重写，目前承接 95% 生产请求。文中数据是 OpenAI 的内部测量，团队应借鉴迁移方法，而不是直接套用性能结论。
事实来源
OpenAI 称 Habitat 每秒处理超过 7000 万次请求，为每周逾 10 亿用户使用的产品提供服务，覆盖近 40 个地区并承载超过 500 PB 数据。
Habitat 于 2023 年 DevDay 为 GPTs 启动，最初是连接 Azure Cosmos DB 的 Python 客户端库；后来拆成独立服务，以集中部署、可观测性、安全与平台改进。
OpenAI 表示，2026 年第二季度两名工程师借助 Codex 与 GPT‑5.5 完成 Rust 重写；新服务现处理 95% 的生产请求，内部测得 CPU 效率提高 6 倍、内存效率提高 15 倍。
核心变化
- 存储逻辑从分散客户端收拢到统一服务控制面
- 尾延迟、连接复用和下游保护成为独立运营指标
- 简单、可预测的 NoSQL 请求被保留为扩展边界
- Rust 重写通过逐步承接流量验证，而非一次性切换
对普通 AI 用户的影响
这篇工程复盘说明，用户感知速度取决于整个请求链的尾部，而不只是数据库平均延迟。对建设高并发 AI 产品的团队，最可迁移的经验是先统一协议、权限、审计和观测，再替换运行时；同时用影子流量、逐级比例和明确回滚点验证新实现。OpenAI 的规模与内部工具不可直接复制，效率倍数也应视为该系统下的测量结果。
给团队的操作清单
- 记录当前吞吐、p95/p99 延迟、事件循环等待、连接数和下游错误率，形成迁移前基线。
- 先把路由、授权、审计与限流收敛到稳定协议，并用回放流量验证兼容性。
- 以影子请求和小比例真实流量比较 Python 与 Rust，逐级扩大并保留自动停止阈值。
- 为每一阶段保存版本、指标、异常样本与回滚命令，确认旧路径可用后再继续迁移。
AI 前沿资讯与趋势解读、AI 软件应用与模型工具、AI 技能教程与验证方法、AI 账号服务与权限说明
FAQ
Habitat 是 OpenAI 对外提供的数据库产品吗？
不是。官方文章把 Habitat 描述为支撑 OpenAI 产品的内部在线存储平台，本次发布是工程复盘。
OpenAI 是否已经完全停用 Python 版本？
尚未。文章称 Rust 服务处理 95% 的生产请求，并计划在随后数周逐步停用 Python。
6 倍和 15 倍效率提升能否直接套用到其他系统？
不能。它们是 OpenAI 对 Habitat 的内部测量，硬件、负载、协议和实现差异都会改变结果。
总结
Habitat 的关键并非单纯换用 Rust，而是先建立统一控制面，再让新实现以真实指标逐步证明自己；这套迁移顺序比任何单个效率数字更值得复用。
本文由 AI 辅助撰写；发布前由 ENHE AI 自动化审计核对官方来源、双语字段、图片权利、页面安全与历史去重。
这对普通用户意味着什么？
这篇工程复盘说明，用户感知速度取决于整个请求链的尾部，而不只是数据库平均延迟。对建设高并发 AI 产品的团队，最可迁移的经验是先统一协议、权限、审计和观测，再替换运行时；同时用影子流量、逐级比例和明确回滚点验证新实现。OpenAI 的规模与内部工具不可直接复制，效率倍数也应视为该系统下的测量结果。
你可能会用到这些工具
相关教程
相关工具/教程
你可以从下面的 ENHE AI 栏目继续把资讯信号转成工具选择、账号服务判断或实操学习路径。
相关阅读
Dense 与 MoE 选型清单｜别只比较模型总参数
NVIDIA 9 月 15 日的技术文章解释了 Dense 与 Mixture-of-Experts 模型的关键差异：Dense 每个 token 激活全部参数；MoE 把全部专家装入显存，但每个 token 只路由到部分专家，因此显存成本和计算成本不再同步。文章以 Nemotron 3.5 Lightning 为例，30B 总参数每个 token 激活 3B，并指出 MoE 在相同总参数下可能获得更高吞吐，但高并发时延迟优势会收窄，微调还需处理路由失衡，量化也会对路由与投影层产生不同影响。本清单把这些因素转成可重复的团队选型任务。
AWS HyperPod Inference Gateway｜让 GPU 状态参与推理路由
AWS 于 9 月 18 日发布 SageMaker HyperPod Inference Gateway Tier 1。它作为 EKS 托管附加组件部署，通过 Body-Based Router 读取 OpenAI 兼容请求中的模型字段，再由 Endpoint Picker 根据 KV cache、队列深度、LoRA 适配器驻留、前缀缓存命中和运行请求选择后端。AWS 在相同副本的对照中报告多类负载的尾延迟改善，首页概括最高可降低 82% 的首 token 延迟；统一稳态负载则与轮询相当。团队应以自己的硬件、模型与流量重做基线。
NVIDIA扩展DGX Spark 64GB配置：本地AI工作站如何算账
NVIDIA于10月2日宣布DGX Spark新增64GB统一内存配置，称该版本将于10月23日起由多家合作厂商销售，起售价为4999美元。NVIDIA称单机可运行最多1000亿参数模型，两台设备可池化至128GB，并在其Qwen 3.8 27B测试中达到最高1.7倍性能。上市日期和性能都应视为厂商信息；实际结果取决于模型、量化、上下文和并发负载。本文提供购买前的本地推理评估表。
微软2026数字防御报告：AI正在改变攻防节奏
微软在10月1日发布的《2026数字防御报告》解读中称，攻击者已把人工智能用于侦察、社会工程及既有攻击流程的部分环节。文章重点不是宣称攻击已经完全自动化，而是提醒组织关注速度和规模的变化。身份验证、最小权限、数据保护、持续监测、测试与安全开发仍是防御基础。本文区分微软的观察与独立结论，并将报告转成团队可执行的检查清单。
一周完成AI代理安全盘点：用OWASP清单找出控制缺口
OWASP生成式AI安全项目于2025年12月发布2026版Agentic Applications Top 10，为会规划、调用工具或跨系统行动的AI代理列出风险框架。它适合作为安全讨论的起点，不是认证、合规证明或安全保证。本文把框架转成一周的基础盘点：登记代理身份与工具、限制权限、把外部内容视作不可信输入、记录关键动作、测试停止和撤权，并为高影响操作设置批准和恢复办法。团队应结合自身系统和威胁模型补充。
微软推出流式转写模型：语音代理可以更早开始响应
微软AI在10月1日公布MAI-Transcribe-2-Streaming、MAI-Voice-2.1与Flash版本。微软称流式转写支持60种语言和连续语言检测，首批转写假设可在收到音频后略超过100毫秒出现；语音模型覆盖23种语言和26个地区。排名、准确率、速度与价格均来自微软发布内容，不能直接代表任意业务场景。本文解释流式输出对语音代理的影响，并列出延迟、纠错、口音、隐私和成本测试办法。