规模法则之外，还有另一个法则
NBD：微软CEO萨提亚·纳德拉在微软2024年第四季度财报电话会上提到，DeepSeek“有一些真正的创新”。在您看来，DeepSeek有哪些创新点呢？
郑骁庆：在深入研读DeepSeek的技术报告后，我们发现，DeepSeek在降低模型训练和推理成本方面采用的方法，大多基于业界已有的技术探索。比如，键值缓存（Key-Value cache）管理，对缓存数据进行压缩。另一个是混合专家模型（MoE，Mixture of Experts），实际上是指，在推理的时候，只需使用模型的某一个特定的模块，而不需要所有模型的网络结构和参数都参与这个推理过程。
此外，Deepseek还采用了FP8混合精度训练的技术手段。这些其实之前都有所探索，而DeepSeek的创新之处就在于，很好地将这些能够降低技术和推理成本的技术整合起来。
NBD：您认为DeepSeek现阶段的技术水平上是否已经接近或者达到了全球领先水平呢？
郑骁庆：DeepSeek目前在现有技术基础上，包括网络结构训练算法方面，实现了一种阶段性的改进，并非是一种本质上的颠覆性创新，这一点是比较明确的。其改进主要是针对特定任务，例如，DeepSeek在数学、代码处理以及推理任务等方面，提出了一种在性能与成本上相对平衡的解决方案。然而，它在开放领域（open domain）上的表现，优势并不是十分明显。
在业界存在着两个法则，一个是规模法则（Scaling Law），即模型的参数规模越大、训练数据越多，模型就会更好。另外一个法则是指，随着技术的不断发展，在既有技术基础上持续改进，能够大幅降低成本。
比如说，以GPT-3为例，早期它的成本就很高。但随着研究的深入，研究人员逐渐清楚哪些东西是工作的，哪些东西是不工作的。研究人员基于过往的成功经验，研究目标会逐渐清晰，成本实际上也会随之降低。
DeepSeek的成功，我更觉得可能是工程优化上的成功。当然也非常高兴看到中国的科技企业在大模型的时代，在性能与成本的平衡方面取得了显著进展，不断推动大模型的使用和训练成本下降。符合刚才我提到的第二个法则的情况之下，走到世界前列。
DeepSeek有效平衡性能和成本，但对芯片需求影响不大
NBD：DeepSeek旗下模型的最大亮点之一是在训练和推理过程中显著降低了算力需求。您认为这种低成本大效能的技术创新，长期来看，会对英伟达等芯片公司产生什么影响呢？
郑骁庆：我个人认为，它并不会对芯片采购量或出货量产生太大的影响。
首先，像DeepSeek或者类似的公司，在寻找有效的整合解决方案时，需要进行大量的前期研究与消融实验。所谓的消融实验，即指通过一系列测试来确定哪个方案是有效的以及哪些方案的整合是有效的。而这些测试就非常依赖于芯片，因为芯片越多，迭代次数就越多，就越容易知道哪个东西工作或者哪个东西不工作。
比如说，DeepSeek的训练预算不到600万美元。它的技术报告中提到，不到600万美元的资金，是按照GPU的小时数（每小时两美元）来估算的。也就是说，他们基于之前的很多研究，把整条训练流程都已经搞清楚的情况之下（哪些是工作，哪些不工作的），重新走一遍。它的GPU的运算速度是多少，运算小时数是多少，然后再乘以每小时两美元得到的这个结果。报告中也提到了，600万美元其实没有包含先期研究成本，比如，在结构上的探索、在算法上的探索、在数据上采收集上的探索的成本，也没有涵盖消融实验的开销以及设备的折旧费。所以，我个人判断，对英伟达其实影响不是那么大。
另外，DeepSeek的研究表明，很多中小企业都能用得起这样的大模型。尽管训练成本的下降可能会暂时减少对GPU的需求，但大模型变得更加经济，会使原本因为模型成本太高而不打算使用大模型的企业，加入到使用模型的行列，反而会增加对于芯片的需求。
NBD：随着DeepSeek-V3、R1等低成本大模型的问世，传统的大规模数据中心和高投入的大模型训练是否仍然值得继续推进呢？
郑骁庆：我觉得仍然值得。因为首先DeepSeek模型是语言模型，还没有扩展到多模态，甚至于我们以后要研究世界模型。那么一旦引入多模态之后，对算力的要求和基础设施要求就会成指数的增长。因为人工智能不可能仅仅局限于语言体本身，语言只是智慧的一种表现，而在这方面的探索仍然需要这样的一个基础设施。
刚才也提到DeepSeek其实是在很多先期研究的基础之上，找到了一条性能和成本平衡的一个解决方案。先期研究包括各种各样的尝试，怎样去加速它呢？这个还是需要强大的硬件支持。否则，每迭代一次，就可能需要长达一年多的时间，这显然是无法赶上现在AI军备竞赛的。而如果有几万张卡，迭代可能几天就完成了。
另外就是应用方面。即便是模型的推理成本再低，当需要支持数千、数万甚至更大规模的并发使用时，仍然需要一个配备大量显卡的强大基础架构来确保稳定运行。
我觉得大规模预训练这一波潮流可能会弱化，可能不会成为下一步大家争夺的主战场。之前这个领域曾是竞争激烈的战场，但现在看来，成本和产出之间的比例正逐渐趋于紧缩。但是后面两步——高质量数据的微调和基于强化学习的人类偏好对齐，我相信未来会有更多的投入。
还没有评论，来说两句吧...