关于人工智能（AI）模型核心理论的起源，近期展开了激烈的讨论。根据南华早报报道，有观点认为， 中国科技巨头百度可能早于OpenAI提出了关于大规模人工智能模型的关键理论。
在大模型的开发过程中，“扩展定律”（ Scaling Law）是一个核心概念——该理论认为，随着训练数据和模型参数的增大，模型的智能能力也会增强。这个理论广泛归功于OpenAI于2020年发布的论文《神经语言模型的扩展定律》（Scaling Laws for Neural Language Models），该论文也成为AI研究的一个重要基石。
虽然美国通常被视为先进AI模型的领导者，但有些专家认为，中国可能在这些概念上已有早期的探索。
OpenAI的研究表明，增加模型的参数、训练数据和计算资源，会按照幂律关系提高模型的表现。这一发现为后续的大规模AI模型开发提供了重要指导。
然而，OpenAI论文的共同作者之一、 前OpenAI研究副总裁和Anthropic CEO达里奥·阿莫代伊（Dario Amodei）在一次播客中透露，早在2014年，他在百度工作时，就曾观察到类似的现象。
Dario Amodei。 图片来源：Wikipedia
根据Linkedin公开信息，达里奥·阿莫代伊曾在百度担任研究科学家，后转投谷歌和OpenAI。在离开OpenAI创立 Anthropic前，他曾是OpenAI的研究副总裁。
这一观点得到了Meta研究员、康奈尔大学博士生杰克·莫里斯（Jack Morris）的支持。莫里斯在X（前Twitter）上发文称： “很多人不知道，扩展定律的最初研究是在百度的2017年，而不是OpenAI的2020年。”
莫里斯提到，百度硅谷AI实验室在2017年发布了一篇名为《深度学习扩展是可预测的，实证的》（Deep Learning Scaling is Predictable, Empirically）的论文，广泛探讨了机器翻译和语言建模等领域的扩展现象。
百度的研究人员在2019年发布的论文《超越人类水平的准确性：深度学习中的计算挑战》中，再次探讨了扩展定律的问题。值得注意的是，这篇论文在OpenAI2020年扩展定律的研究中被引用，并被认为是该领域的重要文献。但批评者指出， OpenAI在引用百度的2019年论文时，忽略了2017年更早的研究，而这篇研究被认为可能是扩展定律概念的最初来源。
对此，清华大学计算机科学与技术系副教授刘志远表示，百度和OpenAI的研究是平行进行的，二者都有其重要性。他指出：“扩展定律是支撑涌现智能的基础性原则，广泛存在于自然、社会和人工系统中。百度的工作属于深度学习阶段，而OpenAI则聚焦于大模型阶段。”
刘志远还强调了中国在大模型研究方面日益增长的实力，但也提到了一些挑战：“过去十年，中国在AI领域取得了显著进展，但计算资源的瓶颈使我们在国际领先者如OpenAI面前仍存在差距。要弥补这一差距，我们必须集中力量发展国内的AI芯片，并培养顶尖人才和科研团队，以推动原创创新。”
中国在大模型领域的成就逐渐获得国际认可。近期，在第二届人工智能数学奥林匹克竞赛中，著名数学家陶哲轩（Terence Tao）赞扬了阿里巴巴云计算推出的QwQ-32B推理模型，称其在解决竞赛问题时的表现明显优于以往的开源模型。
此外，在2024年百度世界大会上，百度宣布了一项新技术，旨在减少图像生成中的“幻觉”问题——即生成事实不准确或误导性的图像。百度还透露，其文心（Ernie）基础模型在11月已经处理了15亿次日常API调用，相较去年50百万次增长了30倍。
还没有评论，来说两句吧...