Dense 与 MoE 选型清单｜别只比较模型总参数
把活跃参数、显存、并发吞吐、尾延迟、量化与微调风险放进同一张可复现评测表。
本文核心看点
NVIDIA 9 月 15 日的技术文章解释了 Dense 与 Mixture-of-Experts 模型的关键差异：Dense 每个 token 激活全部参数；MoE 把全部专家装入显存，但每个 token 只路由到部分专家，因此显存成本和计算成本不再同步。文章以 Nemotron 3.5 Lightning 为例，30B 总参数每个 token 激活 3B，并指出 MoE 在相同总参数下可能获得更高吞吐，但高并发时延迟优势会收窄，微调还需处理路由失衡，量化也会对路由与投影层产生不同影响。本清单把这些因素转成可重复的团队选型任务。
直接回答
NVIDIA 9 月 15 日的技术文章解释了 Dense 与 Mixture-of-Experts 模型的关键差异：Dense 每个 token 激活全部参数；MoE 把全部专家装入显存，但每个 token 只路由到部分专家，因此显存成本和计算成本不再同步。文章以 Nemotron 3.5 Lightning 为例，30B 总参数每个 token 激活 3B，并指出 MoE 在相同总参数下可能获得更高吞吐，但高并发时延迟优势会收窄，微调还需处理路由失衡，量化也会对路由与投影层产生不同影响。本清单把这些因素转成可重复的团队选型任务。
事实来源
Dense 模型每个 token 激活全部参数；MoE 把多个专家装入显存，但只为每个 token 选择部分专家。
NVIDIA 以 30B 总参数、每 token 激活 3B 的 Nemotron 3.5 Lightning 说明显存成本与计算成本可以分离。
文章指出 MoE 的吞吐优势会随并发变化，微调需防路由失衡，量化对路由和投影层的影响也不同。
核心变化
- 选型指标从总参数转向活跃参数
- 显存预算与单 token 计算分开评估
- 吞吐与尾延迟按并发曲线比较
- 微调和量化进入上线前验收
对普通 AI 用户的影响
MoE 并不天然更省显存，Dense 也不天然更慢。实际选择取决于模型能否放入目标硬件、请求长度和并发、服务框架、量化方案、微调需求与故障复杂度。应使用同一业务请求集测试质量、TTFT、每 token 延迟、吞吐、显存峰值和单位合格结果成本。
给团队的操作清单
- 锁定一组代表性业务请求和质量门槛
- 在目标硬件上记录显存与单请求延迟
- 逐级提高并发并绘制吞吐和尾延迟
- 加入量化、微调与回滚成本后再选型
AI 前沿资讯与趋势解读、AI 软件应用与模型工具、AI 技能教程与验证方法、AI 账号服务与权限说明
FAQ
MoE 的总参数更大，是否一定更慢？
不一定。每个 token 只激活部分专家，但显存和路由开销仍需在目标硬件上测试。
只比较 tokens/s 足够吗？
不够。还要比较质量、TTFT、尾延迟、显存峰值、失败率和单位合格结果成本。
总结
Dense 与 MoE 的正确答案不是一个参数量标签，而是一条覆盖质量、硬件、并发、调优和成本的可复现测试曲线。
本文由 AI 辅助撰写；发布前由 ENHE AI 自动化审计核对官方来源、双语字段、图片权利、页面安全与历史去重。
这对普通用户意味着什么？
MoE 并不天然更省显存，Dense 也不天然更慢。实际选择取决于模型能否放入目标硬件、请求长度和并发、服务框架、量化方案、微调需求与故障复杂度。应使用同一业务请求集测试质量、TTFT、每 token 延迟、吞吐、显存峰值和单位合格结果成本。
你可能会用到这些工具
相关教程
相关工具/教程
你可以从下面的 ENHE AI 栏目继续把资讯信号转成工具选择、账号服务判断或实操学习路径。
相关阅读
GitHub推出HydraFusion Max：复杂编程任务何时值得多模型复核
GitHub更新多模型编排能力并推出更强调深度推理的版本，适合需要分析与复核的编程任务，但它不是又一个独立模型。本文说明研究预览状态、客户端和套餐条件，区分普通任务与复杂缺陷，并给出一次可比较的测试记录样例。多个模型参与可能增加时间和用量，不能凭名称判断更便宜或效果更好；真正交付仍要检查改动、测试和费用记录。
Claude Haiku 5.5怎么选：适合高频小任务，不等于替代所有大模型
Anthropic于2026年10月7日发布Claude Haiku 5.5，面向摘要、压缩、分类、数据库查询、客服、浏览器操作与子代理等高频任务。官方称其平均运行成本较Haiku 4.5低约75%，并提供可调推理强度；GitHub Copilot已在多种套餐和客户端中支持该模型。本文不把小模型宣传成万能替代，而是提供按任务正确率、速度、输入长度、工具能力和单次成功成本进行选型的耐久清单。
Google Cloud发布Gemini工作代理：接入企业系统前先验收什么
Google Cloud在2026年10月8日的Gemini at Work活动中发布通用工作代理Gemini agent。官方称它能结合组织业务上下文，规划任务、调用技能与工具、连接企业系统，并把结果带回文档、邮箱和开发环境；同时提供模型选择、成本控制和管理治理能力。本文用试点清单说明如何检查数据范围、工具权限、费用、结果落点和人工确认。
AWS HyperPod Inference Gateway｜让 GPU 状态参与推理路由
AWS 于 9 月 18 日发布 SageMaker HyperPod Inference Gateway Tier 1。它作为 EKS 托管附加组件部署，通过 Body-Based Router 读取 OpenAI 兼容请求中的模型字段，再由 Endpoint Picker 根据 KV cache、队列深度、LoRA 适配器驻留、前缀缓存命中和运行请求选择后端。AWS 在相同副本的对照中报告多类负载的尾延迟改善，首页概括最高可降低 82% 的首 token 延迟；统一稳态负载则与轮询相当。团队应以自己的硬件、模型与流量重做基线。
NVIDIA AIPerf｜用多进程负载重做 LLM 推理基准
NVIDIA 于 9 月 18 日介绍 AIPerf，作为 GenAI-Perf 的后继工具。它把负载生成、结果处理和协调拆成多进程，并通过 ZMQ 协作，减少 Python 单进程在高并发下成为客户端瓶颈。工具支持 15 类以上端点、公开数据集与多种轨迹回放格式，可设置恒定、泊松或 Gamma 到达分布及渐进升压。结果覆盖 TTFT、ITL、请求延迟、输出吞吐与多个百分位，并写入 CSV、JSON 和运行日志。
Anthropic 发布 Claude Fable 5.1 与 Mythos 5.1，长时代理进入成本与安全并重阶段
Anthropic 于 9 月 1 日发布 Claude Fable 5.1 与 Mythos 5.1。两者共享基础模型，但安全护栏和访问范围不同。Fable 面向一般用户，典型按 token 工作负载预计降价约四分之一，高代理工作负载最高可节省约 45%；企业可逐步接入由客户控制云基础设施承载的 Enterprise Frontier Safeguards。Mythos 通过可信访问计划支持网络安全和生命科学，官方同时披露了软件漏洞发现、蛋白结合体设计和 GPU 内核优化案例。对企业而言，模型升级已从单纯比拼能力转向成本、数据驻留和风险分级的