下载掌阅APP，畅读海量书库
立即打开
谈到DeepSeek的算法创新，首先要介绍的就是MoE模型，到底什么是MoE模型呢？
金庸的小说《天龙八部》中有这样一段情节。吐蕃国师鸠摩智要求大理交出六脉神剑剑谱。大理天龙寺的枯荣大师不愿就范，希望与几位高僧一起紧急修炼六脉神剑以抗敌。不幸的是，这几位高僧的武学资质较为平庸，难以单独练成这门绝世武功。情急之下，枯荣大师想出了一个办法：让六位高僧分别修炼“六脉”中的一脉。通过分工，六位高僧终于在有限时间内各自练成一脉神剑。六位高僧组成鸠摩智所称的“六脉神剑剑阵”，在枯荣大师的指挥下成功与鸠摩智周旋。
这段情节很好地说明了MoE模型的本质。如果将六脉神剑中的每一脉视为一个任务，六脉神剑便是一个多任务的大模型。故事中，练习六脉神剑需要强大资质，如同现实中大模型训练对算力的高要求。而枯荣大师让高僧们各修一脉的做法，相当于将模型拆分为六个“专家”模型。通过这样的任务分解，本身资质有限的高僧得以速成六分之一的武功，并通过组合达成类似完整版六脉神剑的效果。类似地，几个训练好的“专家”模型经过加总与协调，也可实现完整模型的功能，同时训练门槛和总成本远低于直接训练整个大模型。
MoE模型作为深度学习的创新范式，其技术演进历程可追溯至1991年自适应局部专家混合模型理论的提出。该模型通过集成多个专业化子网络（即专家网络）和智能路由（routing）机制，实现了参数规模与计算效率的平衡发展（见图3-4）。
在1991年发表的论文《自适应局部专家混合模型》（Adaptive Mixtures of Local Experts）中，MoE模型的基本要素已经齐备，即专家网络和门控网络（gating network），后者演化为今天常见的路由机制。
图3-4 MoE模型架构示意
图片来源：Adaptive Mixtures of Local Experts。
针对传统神经网络在多任务学习场景中存在的干扰效应问题，1991年提出的MoE模型通过架构创新实现了突破性改进。干扰效应本质上源于任务间的参数耦合与梯度冲突，当模型参数在不同任务的权重更新过程中相互干扰时，会导致收敛速度下降及泛化能力衰减。
该研究提出的解决方案是，构建由多个专家网络和智能路由机制组成的并行化学习架构。每个专家网络专注于特定任务域的特征学习，通过参数空间的解耦设计，有效避免跨任务的权重干扰。这种模块化结构不仅提升了个体专家的学习效率，还通过专家组合的集成效应增强了整体模型的表达能力。
实验验证表明，这种“分治—集成”的架构设计成功将不同任务的学习过程解耦，使模型在保持参数规模可控的前提下，相较传统单体网络获得了显著提升的训练速度和跨域泛化能力。该成果为后续稀疏化大模型的发展奠定了重要理论基础，特别是在当前千亿参数规模的大模型时代，其核心思想仍被广泛应用于提升模型效率的实践中。
时隔20多年，谷歌在2017年发布了具有里程碑意义的论文《超大规模神经网络：稀疏门控专家混合层》（Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer），将MoE模型成功应用于LSTM架构
。通过这一创新，谷歌训练出了参数规模高达1370亿、包含128 000名“专家”的LSTM模型。即便在多年后的今天，这样的模型规模仍然堪称巨无霸级别，其背后需要克服大量的工程挑战。
与1991年的早期工作相比，这篇论文实现了真正意义上的稀疏激活机制。这种机制使得模型在实际计算量较少的情况下，依然能够高效训练超大规模网络，从而为大模型的发展开辟了新的可能性。
在Transformer架构尚未诞生的时候，人工智能领域尚未掀起如今这般激烈的大模型“军备竞赛”，但学术界已在文本、图像、音频等多个领域通过实证研究揭示一个规律：模型容量与性能之间存在显著的正相关关系。其中，所谓“容量”，即模型拟合复杂函数的能力。在参数规模突破特定阈值后，模型对数据的表征能力会呈现阶跃式提升。
然而，这种性能跃迁的代价是算力需求的指数级增长。根据计算复杂度理论，模型参数量（N）与训练数据量（D）之间通常需遵循N≈D这一约束条件，这意味着当模型规模扩大时，不仅需要同步增加训练数据量，其计算开销更会以O（N 2 ）的规律急剧攀升。这种非线性增长规律在21世纪第二个10年的算力条件下，曾使许多研究团队陷入“越大、越强却越难训练”的悖论。直到稀疏计算技术（如MoE架构）的出现，才部分缓解了这一矛盾。
谷歌于2020年6月发布的研究论文《GShard：利用条件计算和自动分片扩展巨型模型》（GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding），标志着MoE模型与Transformer架构深度融合的关键突破。该研究首次在标准的Transformer中系统集成了MoE层，通过创新的条件计算机制与自动分片技术，成功构建了当时规模空前的稀疏化神经网络——其最大模型参数量突破6000亿，这成为首个实现超大规模MoE架构工程化部署的标杆案例。
研究团队通过动态路由机制重构了Transformer前馈层的计算范式，使每个输入样本仅激活特定专家子网络，同时引入张量自动分片技术实现跨设备参数分布。这种架构创新不仅保留了Transformer处理序列数据的核心优势，更通过稀疏计算显著提升了模型容量与训练效率的平衡能力。实验证明，该框架在保持单设备计算负载稳定的前提下，将模型参数量提升两个数量级，为后续万亿参数模型的研发奠定了关键技术基础。这项突破性工作标志着现代MoE架构范式的确立，推动了神经网络从稠密计算向稀疏化、专业化方向演进。《GShard：利用条件计算和自动分片扩展巨型模型》这篇论文用了很长的篇幅介绍工程实现和优化，这也是MoE模型训练最大的痛点。
DeepSeek MoE作为国内首个开源的MoE模型，通过双维度架构创新有效突破了传统MoE系统的性能瓶颈。其核心创新体现在专家系统重构与知识解耦机制两方面。针对传统架构普遍存在的知识冗余（knowledge redundancy）和知识杂糅（knowledge hybridity）问题，DeepSeek MoE提出了两个关键解决方案。
一是细粒度专家分割，即在保持总参数量不变的前提下，将每个专家模块拆分为更小的计算单元。比如，将原本16个专家拆分为64个微专家，激活数量对应调整为8个。这种设计使得专家组合空间从C（16，2）=120种跃升至C（64，8）=4.4×10 9 种，极大提升了模型对多样化特征的适配能力。
二是共享专家隔离，即设置固定激活的共享专家模块，专门捕捉跨领域的通用知识；通过将通用计算能力（如数学运算、基础语法解析）剥离到共享专家模块，使其他专家模块能够专注于垂直领域的深度特征学习。这种分层知识架构使得145B参数的MoE模型仅需67B稠密模型的计算量，即可实现同等性能表现。
不仅如此，DeepSeek在工程上的创新也功不可没，它通过动态内存分配算法和稀疏计算优化，使16B参数模型可在单张40GB显存GPU上直接部署运行，无须量化压缩。这得益于专家分片策略与激活缓存机制的协同设计，该设计将峰值显存占用降低至传统架构的63%。
采用“自适应学习调速”（动态梯度裁剪）和“专家响应微调”（激活噪声注入）双保险，可以有效防止系统陷入死循环。这就像给自动驾驶系统加上防抱死制动系统，使汽车在高速行驶时仍能灵活转向。实测数据显示，在训练相当于145亿个神经元的超大型AI时，系统始终保持灵活高效的协作状态（熵值在4.2～4.5，相当于团队始终保持多样化的解题思路），避免了某些专家模块被过度依赖而“宕机”。
在DeepSeek的MoE架构中，无辅助损失的负载均衡策略扮演着至关重要的角色，它就像一位经验丰富的调度员，默默地协调各个专家模块的工作，确保整个模型能够高效且稳定地运行。
在MoE架构中，不同的专家模块可以被看作各有所长的工匠，每个工匠都擅长处理特定类型的任务。然而，在实际运行过程中，由于输入任务的多样性和复杂性，不同专家模块之间可能会出现工作负担不均衡的现象。一些专家模块可能因为任务量过大而忙得不可开交，而另一些模块则可能因为任务稀少而处于闲置状态。这种负载不均不仅会导致资源浪费，还会对模型的整体性能和效率造成负面影响。
无辅助损失的负载均衡策略的引入，成功解决了这一问题。它通过一种智能的动态路由偏置调整机制，根据各个专家模块的实时负载情况，灵活分配任务。当某个专家模块的任务量较少时，该策略会主动将更多任务分配给这个模块，使其充分发挥作用；而当某个模块的任务量过多时，该策略则会将部分任务分流到其他负载较轻的模块，避免过度消耗单一模块的计算资源。通过这种方式，无辅助损失的负载均衡策略实现了各个专家模块之间的任务平衡，确保每个模块都能在其擅长的领域发挥最大效能，从而提升模型的整体性能和稳定性。
以一个涉及多个领域知识的问答任务为例，假设问题涉及历史、科学、文化等多个领域的知识。在MoE架构中，不同的专家模块分别负责处理这些不同领域的任务。无辅助损失的负载均衡策略会根据问题的具体内容以及各个专家模块的当前负载情况，将问题的不同部分分配给最适合的专家模块。例如，对于涉及历史知识的问题部分，系统会将其分配给熟悉历史领域的专家模块；而对于科学相关内容，则会交给专门处理科学知识问题的模块。通过这种精准的任务分配，各个专家模块能够各司其职、协同工作，高效完成复杂的问答任务，为用户提供准确、全面的答案。
这项技术的核心优势在于，它无须依赖额外的辅助损失函数即可实现负载均衡，从而避免了传统方法中可能带来的梯度干扰问题。这就像一个交通信号灯系统，能够根据实时流量动态调整信号灯的时间分配，确保每条道路的通行效率最大化。正是这种智能化的协调机制，使得DeepSeek的MoE架构能够在复杂任务中展现出卓越的性能和稳定性。