DeepSeekMoE：一种结合MoE、MLA和RMSNorm的高效大规模语言模型架构，显著提升性能并降低计算成本。
原文标题：DeepSeek背后的技术基石：DeepSeekMoE基于专家混合系统的大规模语言模型架构
原文作者：数据派THU
冷月清谈：
**核心组件：**
* **专家混合系统 (MoE):** 通过动态路由机制，为每个输入选择最相关的专家进行处理，并引入了专家共享机制以减少计算开销。
* **多头潜在注意力机制 (MLA):** 使用潜在向量缓存中间计算结果，优化了自回归推理过程，降低了计算量。
* **RMSNorm 归一化:** 使用均方根统计进行输入缩放，简化了计算并提升了训练稳定性。
**性能优势：**
* **计算效率提升：** 相比Switch Transformer，吞吐量提升1.8倍，参数量降低30%；训练速度相比同规模密集Transformer提升2.1倍。
* **推理性能提升：** MLA缓存机制使自回归任务延迟降低35%。
* **模型性能突出：** 在语言建模、机器翻译和长文本处理等任务上均取得了优于现有模型的效果。
**成本效益显著：** 130亿参数规模的 DeepSeekMoE 模型训练成本约 90 万美元，较同规模密集模型节省 30%。
怜星夜思：
2、MLA（多头潜在注意力机制）如何降低计算量并提升推理速度？
3、DeepSeekMoE 的应用场景有哪些？它在哪些领域具有优势？
原文内容
来源：Deephub Imba本文约1400字，建议阅读5分钟
本文将从技术角度深入分析DeepSeekMoE的架构设计、理论基础和实验性能，探讨其在计算资源受限场景下的应用价值。
DeepSeekMoE是一种创新的大规模语言模型架构，通过整合专家混合系统(Mixture of Experts, MoE)、改进的注意力机制和优化的归一化策略，在模型效率与计算能力之间实现了新的平衡。
DeepSeekMoE架构融合了专家混合系统(MoE)、多头潜在注意力机制(Multi-Head Latent Attention, MLA)和RMSNorm三个核心组件。通过专家共享机制、动态路由算法和潜在变量缓存技术，该模型在保持性能水平的同时，实现了相较传统MoE模型40%的计算开销降低。
本文将从技术角度深入分析DeepSeekMoE的架构设计、理论基础和实验性能，探讨其在计算资源受限场景下的应用价值。
架构设计
DeepSeekMoE采用层叠式架构，包含L个Transformer模块，每个模块由以下组件构成：
-
多头潜在注意力层(MLA)
-
专家混合系统层(MoE)
-
RMSNorm归一化层
1、专家混合系统(MoE)层
动态路由机制：针对输入令牌嵌入ut，路由器通过门控网络从Ns个专家中选择k个最相关专家(k≤4)：
g(ut)=Softmax(Wgut)，选择Top-k专家
其中Wg表示可训练的路由权重矩阵。
专家共享机制：DeepSeekMoE创新性地引入专家共享设计，部分专家在不同令牌或层间共享参数，最终输出计算公式为：
式中Ei代表任务特定专家，Sj代表共享专家。
2、多头潜在注意力(MLA)机制
MLA机制引入潜在向量ctQ,ctK用于缓存自回归推理过程中的中间计算结果：
查询/键值串联计算：对第i个注意力头：
-
qi,tc,ki,tc由潜在向量计算得出，qi,tR,kiR为可路由部分
-
键值缓存优化：在推理阶段，通过预计算并复用静态键值kiR，降低了生成任务中25%的浮点运算量
3、RMSNorm归一化
DeepSeekMoE采用RMSNorm替代传统LayerNorm，仅使用均方根统计进行输入缩放：
其中w为可学习参数。这种简化设计不仅减少了计算量，还提升了训练稳定性。
性能评估
1、计算效率
参数效率：在配置64个专家(其中8个共享)的情况下，DeepSeekMoE较Switch Transformer(64个专家)实现了1.8倍的吞吐量提升，同时参数量降低30%。
训练效率：相比参数规模相当(13B)的密集Transformer，训练速度提升2.1倍。
推理性能：MLA缓存机制使自回归任务的延迟降低35%。
2、模型性能
语言建模：WikiText-103测试集上困惑度达到12.3，优于Switch Transformer的14.1。
机器翻译：WMT'14 EN-DE测试集上BLEU得分达44.7，较Transformer++提升2.1分。
长文本处理：10k令牌文档问答任务准确率达89%，显著高于标准Transformer的82%。
理论分析
专家共享机制：研究表明共享专家能有效捕获跨任务通用特征，减少模型冗余。
潜在注意力收敛性：理论分析证明MLA机制将梯度方差控制在标准注意力机制的85%水平，有利于提高训练稳定性。
扩展性分析：DeepSeekMoE遵循L(N)∝N−0.27的计算最优扩展率，优于Chinchilla定律(N−0.22)。
应用价值
成本效益：13B规模DeepSeekMoE模型的训练成本约90万美元，较同规模密集模型节省30%。
实际应用场景：
-
对话系统：达到810令牌/秒的处理速度，支持实时交互；
-
文档处理：基于MLA的缓存机制在长文本处理中表现突出；
-
轻量级部署：通过专家共享和RMSNorm优化，内存占用降低40%。
总结
DeepSeekMoE通过创新的混合专家架构、潜在注意力缓存和优化的归一化策略，在模型规模与计算效率之间找到了新的平衡点。其在降低计算成本的同时保持了领先的性能水平，为大规模AI系统的可持续发展提供了新的思路。后续研究将探索该架构在多模态任务中的应用，以及路由算法的进一步优化。
论文：
https://arxiv.org/abs/2401.06066
