并发扫描清单｜在用户流量到来前测出推理端点饱和点
用代表性请求逐级提高并发，记录吞吐与延迟曲线，并在 SLA、错误率或成本越界前确定安全容量。
本文核心看点
AWS 于 9 月 22 日介绍 SageMaker AI 生成式 AI 端点并发扫描方法，可在一个基准任务中测试固定并发列表，或用 max-concurrency-under-sla 配方搜索满足服务目标的最大并发。核心不是追求最高请求数，而是用代表性输入输出长度绘制吞吐与延迟曲线，识别饱和点、错误率和成本变化。团队应隔离测试环境、设定停止条件，并在结束后删除端点、配置和模型，避免持续计费。
直接回答
AWS 于 9 月 22 日介绍 SageMaker AI 生成式 AI 端点并发扫描方法，可在一个基准任务中测试固定并发列表，或用 max-concurrency-under-sla 配方搜索满足服务目标的最大并发。核心不是追求最高请求数，而是用代表性输入输出长度绘制吞吐与延迟曲线，识别饱和点、错误率和成本变化。团队应隔离测试环境、设定停止条件，并在结束后删除端点、配置和模型，避免持续计费。
事实来源
SageMaker AI 的基准任务可在一次作业中测试一组固定并发级别，也可搜索满足 SLA 阈值的最大并发。
AWS 示例通过 CreateAIBenchmarkJob 运行扫描，并绘制吞吐与延迟关系以识别饱和点。
官方提醒测试结束后删除 SageMaker 端点、端点配置和模型，因为端点即使没有流量也可能按小时计费。
核心变化
- 容量决策从猜测转为阶梯式负载证据
- 并发与 SLA 可在同一任务中关联
- 饱和点由吞吐和尾延迟共同判断
- 清理资源成为基准流程的一部分
对普通 AI 用户的影响
并发上限不是一个可永久复用的常数。模型版本、量化方式、容器、实例、提示长度、输出长度和流式响应都会改变曲线。把测试数据做成版本化基线，并保留 20% 至 30% 的运行余量，通常比把生产流量推到最后一个达标点更稳健。具体余量仍应由业务风险和突发程度决定。
给团队的操作清单
- 冻结代表性请求集与 SLA
- 从低并发逐级扫描并设硬停止线
- 记录 P50/P95/P99、吞吐、错误与成本
- 选取有余量的配置并清理测试资源
AI 前沿资讯与趋势解读、AI 软件应用与模型工具、AI 技能教程与验证方法、AI 账号服务与权限说明
FAQ
最高吞吐点就是生产配置吗？
不一定。最高吞吐附近可能出现尾延迟和错误率急升，应选择满足 SLA 且留有余量的点。
更换模型后需要重测吗？
需要。模型、容器、硬件、上下文和输出分布变化都可能移动饱和点。
总结
并发扫描把容量规划变成可重复实验：固定负载，逐级加压，以尾延迟和错误为停止线，选择有余量的配置，并把清理资源写进验收。
本文由 AI 辅助撰写；发布前由 ENHE AI 自动化审计核对官方来源、双语字段、图片权利、页面安全与历史去重。
这对普通用户意味着什么？
并发上限不是一个可永久复用的常数。模型版本、量化方式、容器、实例、提示长度、输出长度和流式响应都会改变曲线。把测试数据做成版本化基线，并保留 20% 至 30% 的运行余量，通常比把生产流量推到最后一个达标点更稳健。具体余量仍应由业务风险和突发程度决定。
你可能会用到这些工具
相关教程
相关工具/教程
你可以从下面的 ENHE AI 栏目继续把资讯信号转成工具选择、账号服务判断或实操学习路径。
相关阅读
AWS 将 Isaac Lab 接入云端：机器人训练可从仿真延伸到策略验证
AWS 介绍在云端运行 NVIDIA Isaac Lab 的参考方案，组合 Isaac Sim、Isaac Lab、图形桌面与 SageMaker AI、MLflow 等工具。团队可按单台工作站或机群配置开展机器人仿真训练并记录策略。仿真有助于缩短迭代，但真实硬件的安全、时延和环境差异仍须单独测试。采用前应核实云资源成本、数据位置和账号可用性，并为上真实机器人前安排隔离、逐步加严的验证流程。
vLLM-Omni 托管图像与视频｜一套容器连接实时和异步端点
AWS 于 9 月 28 日发布 vLLM-Omni 在 SageMaker AI 上生成图片和视频的方案。团队从同一套深度学习容器部署两个独立端点：FLUX.2-klein-4B 负责实时图片生成，Wan2.1-VACE-1.3B 负责异步视频生成；生成的图片连同动作提示提交给视频端点，最终 MP4 保存到 Amazon S3，也可接入可选的 Streamlit 界面。该方案降低了框架封装难度，但团队仍需分别管理两类端点的容量、队列、超时、内容审核、素材权利、输出留存和闲置成本。
Qwen3-TTS 登上 SageMaker｜实时声音克隆进入托管端点
AWS 于 9 月 25 日发布 Qwen3-TTS-12Hz-1.7B-Base 在 Amazon SageMaker AI 上的实时部署方案。团队可以从 SageMaker JumpStart 创建托管 GPU 端点，把目标文本、参考音频及对应文字一起提交，容器输出 24 kHz 音频，无需重新训练模型。官方同时列出模型延迟、平台额外延迟、并发请求和错误率等监控指标。声音克隆涉及身份和人格权，生产使用必须获得说话人授权、标注合成内容、限制参考音频访问，并为冒充、撤回授权和删除请求建立处理流程。
SageMaker AI在SDK v3加入Script mode：自带模型训练流程更易迁移
SageMaker AI在SDK v3加入Script mode：自带模型训练流程更易迁移。官方信息显示，这项更新会改变普通用户完成把现有训练脚本迁移到SageMaker并核对依赖、数据和费用的入口或权限。本文核对一手来源，区分公开预览与已可用操作，并列出账号条件、数据范围、成本、人工复核、日志和回滚检查。读者应先用低风险、可重复的小任务验收，再决定是否扩大，不能把公告当成普遍效果或无条件免费承诺。
银行AI代理先写入再撤回：AWS展示的信任门槛仍是演示
AWS在10月5日介绍德州资本银行探索的Trust-Earned Autonomy模式：代理根据审查者一致程度逐步获得操作权限，并可在信任下降时撤回已提交的写入。文章明确说明该代理模式仍是演示，运行在演示规模的Apache Fineract和合成数据上，并未处理生产银行数据或真实交易。银行另有生产中的贷款文件抽取能力。本文聚焦可撤销授权、审计和边界设计，不把案例写成已上线的银行自动交易系统。
NVIDIA扩展DGX Spark 64GB配置：本地AI工作站如何算账
NVIDIA于10月2日宣布DGX Spark新增64GB统一内存配置，称该版本将于10月23日起由多家合作厂商销售，起售价为4999美元。NVIDIA称单机可运行最多1000亿参数模型，两台设备可池化至128GB，并在其Qwen 3.8 27B测试中达到最高1.7倍性能。上市日期和性能都应视为厂商信息；实际结果取决于模型、量化、上下文和并发负载。本文提供购买前的本地推理评估表。