【不懂就问】第115期 | DeepSeek是怎么做到性能好且成本低的？

文章问deepseek如何做到性能好且成本低，网上搜索只有两方面，算法优化，硬件提升。我认为文章问的有一些问题，性能好，大家使用后是公认的，是第一梯队的性能，成本低，只是免费用而已，众所周知，免费的是最贵的，我悄悄举个例子，“5G信号”，大家都是免费使用，但实际上还是为他付了费。
文章的大致意思应该是想问，deepseek为什么能赶上chatgtp并且全民免费使用。模仿才有创新，ChatGPT出来很久了，技术壁垒围追堵截，越是这么做，越是让中国人进步，我们在现有的模式下模仿创新，是很正常的。另一方面全民免费使用，是国策，deepseek出来后粉碎了，外面的技术壁垒和漫天要价，全面接入deepseek是技术革新，需要免费使用，才能技术更加革新，是机会，就像5G一样。
所以文章说性能好成本低，拓展开来就是上面的答案。

选择性价比高的硬件，比如使用较为经济的GPU或者专门为边缘计算设计的AI芯片，通过优化算法和硬件的能效，降低运行成本，这对于大规模部署尤其重要。

实现在保证性能的前提下有效控制成本，靠的就是技术创新进步。OpenAI的ChatGPT大模型发布后，AI的发展进入了一个新阶段。DeepSeek-R1开源大模型用更少的资源（更低的成本）实现了相当的表现，说明和代表了大语言模型技术的发展进步。就像计算机技术一样，从机械-真空管-晶体管到现在的硅基集成电路，用更低的成本实现更优的性能。AI应该也会沿着类似的路径继续发展，未来的AI技术可能不再依靠集成电路作为载体，而会出现另外的什么东西来实现高效的神经元计算。所以说，DeepSeek牛牛牛。

首先欢迎不懂就问栏目的回归<br/>针对DeepSeek为何性能好并且成本低，结合网络知识归纳有以下原因:<br/>模型架构的「精准刀法」<br/>1. 动态稀疏化架构<br/>采用「课程学习（Curriculum Learning）+MoE」混合架构，在预训练阶段动态调整专家网络激活率。通过渐进式稀疏化处理，在128个专家网络中实现87.6%的动态休眠率，推理时实际计算量仅相当于340B稠密模型。<br/><br/>2. 知识蒸馏的拓扑优化<br/>构建三阶段蒸馏框架：  <br/>- 第一阶段使用Llama 3-405B作为教师模型进行logits蒸馏  <br/>- 第二阶段采用对抗蒸馏提升细粒度语义理解  <br/>以及其他的措施:训练效率暴力，3D并行策略优化，产品定位的断舍离:聚焦对话场景进行优化。

DualPipe跨节点通信优化，通过重叠计算和通信，最大限度地利用了硬件资源，减少了训练过程中的等待时间

查了好多介绍，大体上概括为1，采用稀疏MoE架构减少计算复杂度；2，仅激活部分参数降低计算量；3，KV缓存优化减少显存占用；4，高效训练方法和参数精度优化提高资源利用率；5，创新架构设计提升性能并降低成本；6，数据预处理与筛选提高训练效率；7，自动化超参数调优减少人工成本等。说实话，作为一个用户我们关心的是如何用更少的资源解决更多的问题。而deepseek更完美的解决了用户的痛点真的是很不错！

DeepSeek 的参数规模达到 6710 亿，但每次任务仅调用 370 亿参数，大幅降低了训练和推理成本。<br/>在训练过程中采用 FP8 混合精度技术，能够在保持模型精度的前提下减少内存占用和计算资源消耗，其训练成本仅为 OpenAI GPT-4 的十分之一。<br/>通过多层注意力机制进一步优化了模型的计算效率，减少了不必要的计算开销，同时提升了模型的性能和响应速度。<br/>允许模型在训练过程中动态分配计算资源，从而提高了整体效率，并且隐藏了通信开销，进一步提升了训练速度。<br/>利用 PTX 指令集优化硬件效率，减少了对 GPU 资源的依赖，使得 DeepSeek 能够在较低的算力环境下运行，同时保持较高的性能。<br/>开源策略和本地部署支持降低了企业的长期成本，企业可以自行部署模型，避免了高昂的云服务费用。<br/>通过快速迭代推出多个版本，在性能上逐步提升，甚至接近或超越 GPT-4 等模型。<br/>例如，DeepSeek-V3 采用了多层注意力架构（MLA）和 FP8 混合精度训练，大幅减少了内存占用和计算量。MLA 通过动态合并相邻层的特征，减少了计算和存储需求，而 FP8 混合精度训练则在保证精度的前提下，显著提升了计算速度和内存效率。此外，DeepSeek-V3 还引入了 DualPipe 跨节点通信优化，通过重叠计算和通信，最大限度地利用了硬件资源，减少了训练过程中的等待时间。在数据方面，DeepSeek-V3 采用了严格的数据筛选和清洗流程，确保了训练数据的高质量。<br/>天娱数科首席数据官吴邦毅也提到，DeepSeek 大规模降低成本的关键在于：采用 MoE 混合专家大模型（使用了 200 个小型专家模型）；在低精度训练上做优化；优化算法。另外，其开源策略打破了传统算法的壁垒，用极少量标注，就达到了与其他模型相当的性能。

如采用无辅助损失的专家（MoE）路由技术，通过类似分诊系统的方式，让不同专家模块处理不同问题，减少不必要计算。利用MTP多Token预测技术，允许模型同时生成多个词，提升训练智能和推理内容的连贯性与准确性。<br/> 通过知识蒸馏技术，将大型预训练模型的知识迁移到小型学生模型，减少模型参数量和计算复杂度。同时，结合开源数据集和构建专有数据集，为模型训练提供丰富素材，优化产品功能。<br/> 在多个云服务提供商之间分配人工智能工作负载，灵活应对不同场景需求，选择合适的云服务提供商，动态调整资源配置，避免不必要开支。

DeepSeek 之所以能够实现高性能和低成本，主要得益于以下几个关键因素： 1. 高效的模型架构，轻量化设计：DeepSeek 采用了高效的神经网络架构，通过减少冗余参数和优化计算路径，降低了计算资源的消耗。<br/>  模块化设计：模型通过模块化设计，能够灵活适应不同的任务需求，避免不必要的计算开销。<br/> 2. 先进的训练技术：分布式训练：利用分布式计算框架，DeepSeek 能够在多个 GPU 或计算节点上并行训练，大幅缩短训练时间。<br/>混合精度训练：通过混合精度（FP16/FP32）训练，减少了显存占用和计算量，同时保持了模型的精度。<br/> 3. 数据优化：数据增强与筛选：通过数据增强技术和高质量数据筛选，提升了模型的泛化能力，减少了训练数据的需求量。小样本学习：DeepSeek 支持小样本学习，能够在少量数据上快速适应新任务，降低了数据收集和标注的成本。<br/> 4. 模型压缩与加速：剪枝与量化：通过模型剪枝和量化技术，减少了模型的参数量和计算复杂度，同时保持了较高的性能。<br/>知识蒸馏：利用知识蒸馏技术，将大模型的知识迁移到小模型中，使得小模型在保持高性能的同时，计算成本更低。<br/> 5. 硬件适配与优化：硬件加速：DeepSeek 针对 GPU、TPU 等硬件进行了深度优化，充分利用硬件资源，提升了计算效率。边缘计算支持：模型能够在边缘设备上高效运行，减少了云端计算的需求，进一步降低了成本。 <br/>6.开源与生态支持：开源框架：DeepSeek 基于开源深度学习框架（如 TensorFlow、PyTorch），能够快速集成最新的优化技术和工具。<br/>  社区贡献：通过开放的社区生态，吸引了大量开发者和研究者共同优化模型，降低了研发成本。<br/>7. 成本控制策略：按需计算：DeepSeek 支持按需分配计算资源，避免了资源浪费。<br/> 自动化调参：通过自动化超参数优化，减少了人工调参的时间和成本。<br/>通过这些技术和策略的结合，DeepSeek 在保持高性能的同时，显著降低了开发和部署的成本，使其在实际应用中更具竞争力。

低成本高性能的底层逻辑 DeepSeek通过算法-硬件协同设计和工程创新，突破了传统大模型依赖堆砌算力的路径，证明高性能AI可通过效率优化实现。其开源策略和垂直场景聚焦，进一步推动技术民主化，对全球AI行业形成“鲶鱼效应”。


一、架构创新：混合专家模型（MoE）与动态分工
1. MoE架构设计 DeepSeek采用混合专家模型（MoE），将模型拆分为256个专业化“专家小组”，每个专家专注特定领域（如数学、代码等）。处理任务时仅激活最相关的8个小组（约占总参数的5.5%），大幅减少计算资源消耗。
对比传统模型：传统模型需全参数参与计算，而MoE通过动态分工实现“按需调用”，效率提升数倍。
2. 多层注意力架构（MLA）与并行流水线 通过多层注意力机制优化信息处理流程，结合双向流水线技术，实现计算与数据传输同步，减少资源空转。
二、训练优化：高效算力利用与精度压缩
1. FP8超低精度混合训练 采用FP8精度压缩计算量（类似“压缩文件”），结合分组量化和动态校准技术，在保证精度的前提下减少计算资源需求。
2. 内存优化策略
临时工模式：不存储中间计算结果，需要时重新生成，节省显存。
分层存储：将低频数据转移至主机内存，降低GPU负载。
3. 分布式训练与通信优化 使用NVLink（160GB/s）和InfiniBand（50GB/s）高速通道，减少跨节点通信延迟，确保数据传输效率。
三、专业化模型与中文优化
1. 垂直领域模型开发 针对不同任务推出专用模型（如DeepSeek-Coder-V2专注代码生成，DeepSeek-R1强化数学推理），相比通用大模型减少冗余计算。
2. 中文分词技术优势 中文文本压缩率高达98%，同等内容所需token数仅为GPT-4的70%，直接降低推理成本。
四、工程策略：开源与市场定位
1. 开源生态建设 部分模型开源（如DeepSeek-Coder），吸引开发者社区贡献优化，降低企业商用门槛。
2. 聚焦中国市场 规避国际巨头竞争压力，减少数据合规调整成本，专注中文场景优化。
3. 母公司资源支持 母公司幻方量化早期布局AI，拥有上万GPU集群和算力储备，降低硬件采购成本。
五、成本与性能对比
训练成本：DeepSeek-V3仅需557.6万美元（为GPT-4的1/10），2048块GPU训练54天完成。
推理成本：每百万token费用低至1元人民币，为GPT-4 Turbo的1/70。
性能表现：在HumanEval（代码）、GSM8K（数学）等基准测试中超越Claude 3.5、Llama3，接近GPT-4o。

这个是真不清楚了，毕竟没放开源代码，要是真的清楚怎么降低成本，chatgot早就也这么做了，甚至联想也会做。所以这个问题暂时没有答案

DeepSeek技术在实现同样性能的前提下，有效控制成本的核心策略包括采用稀疏MoE架构、减少激活参数、KV缓存优化、高效训练方法以及参数精度优化等。这些策略通过细粒度的专家分割、降低计算复杂度和内存需求、压缩显存占用、提高模型FLOPs利用率和减少GPU小时数、将参数转换为FP8精度等手段，显著降低了训练和推理成本。实施这些方法后，DeepSeek能够在保持高性能的同时，节省大量训练成本。其经济效益体现在降低企业的运营成本，提升市场竞争力，并有望广泛渗透到各个产业，创造难以估量的间接经济效益。DeepSeek技术的成本控制策略不仅有助于推动相关行业的快速发展，也为人工智能技术的广泛应用提供了有力支持。

DeepSeek是如何在保证性能的前提下还可以有效控制成本？<br/>这个太专业了吧，一般人都不懂，还真是懂哥才行，这真真是重在参与啦，

看了下，不晓得，就仅仅下载用了下，感觉也就那样，没觉得比别的AI更好用，跟风用用罢了

DeepSeek是如何在保证性能的前提下还可以有效控制成本？<br/>用了小米AI给出的答案如下<br/>DeepSeek能在保证性能的前提下有效控制成本，主要通过以下几种方式：<br/>创新模型架构<br/>采用MoE架构：DeepSeek V3中运用了MoE架构，包含256个专家模块，但每次推理时仅激活一小部分。如在高负载情况下，可将成本压缩到原来的1/256。以较少的资源投入，实现高效的推理和运算，从而降低成本。<br/>自研注意力机制：其自研的MLA注意力机制，在传统多头注意力机制基础上引入潜在特征概念，提高对复杂关系的建模能力，同时降低了计算成本，提升了模型性能。<br/>优化训练策略<br/>调整并行策略：摒弃Tensor Parallelism，仅采用Data Parallelism和Pipeline Parallelism，并在此基础上进行更为精细的专家并行。通过对专家数量进行精细划分，将不同专家分配到不同的GPU上，提高了训练效率，降低了硬件成本。<br/>使用原生FP8：模型原生采用FP8，相比其他数据格式，在训练时能够减少内存占用和计算量，进而降低训练成本。<br/>引入强化学习策略：如在DeepSeek R1中采用RL强化学习策略，让模型自行学习，摆脱传统“在人类监督下猜字谜游戏”的训练方式，减少了对大量人工标注数据的依赖，降低了人力成本和时间成本，同时提高了模型性能。<br/>提升训练效率<br/>智能分工：通过动态调班系统实时监控小组工作负荷，自动调整任务分配，避免“空转”现象，提高了资源利用率，节省了计算资源和时间成本。<br/>双向流水线技术：采用双向流水线技术让计算和数据传输同时进行，减少“等待时间”，大大提高了训练效率，缩短训练周期，间接降低了成本。<br/>优化通信与存储<br/>高效通信链路：小组之间的数据传输搭建了速度为160GB/秒的NVLink和50GB/秒的InfiniBand两条“高速路”，精准匹配传输速度，确保数据传输不“堵车”，提高了训练效率，减少了因通信问题导致的资源浪费。<br/>内存瘦身策略：采用“临时工模式”，即部分计算不存储中间结果，等需要时再重新计算，节省了显存，降低了对硬件存储的需求，从而控制成本。<br/>蒸馏技术应用<br/>在模型训练中采用数字蒸馏技术，通过该技术可以从大模型中提取出轻量级的子模型，这些子模型在保持一定性能的同时，大大降低了对计算资源的需求，使得模型可以适配不同算力场景，进一步降低了成本 。

DeepSeek 的成本控制并非单一技术突破，而是通过**算法-硬件-数据-工程的全栈协同优化**，在模型设计、训练效率、推理部署等环节持续迭代，最终实现“性能不妥协，成本大幅优化”的目标。这种系统化能力是其区别于许多依赖堆砌算力的AI公司的核心优势。