先知伊莱亚：预训练将死，超级智能当立

引领大语言模型浪潮的伊莱亚（Ilya Sutskever），在AI顶级学术会议NeurlPS年会上，当着全球数千名AI研究人员宣布：预训练将死。

“我们所了解的预训练，毫无疑问即将终结。算力在增长，可数据没有增长，因为我们只有一个互联网。” （But pre-training as we know it will unquestionably end. While compute is growing, the data is not growing, because we have but one internet.)。

从2012年的AlexNet到到2022年的ChatGPT，伊莱亚是深度学习黄金十年最重要的开创者之一。

他是OpenAI的技术灵魂，他坚持选择用语言数据训练AI，信仰扩展定律（scaling law），以大算力驱动大语言模型（LLM）之路，从1亿参数的GPT-1走到1.8万亿参数的GPT-4，OpenAI引发了一场生成式AI革命。

就在人们以为大语言模型就会沿着预训练的轨迹一路扩展下去，再过两个数量级，其参数就会达到人类大脑突触的数量时，这一进程可能到此戛然为止。

但是，AI将会选择一条不同的道路前行。

伊莱亚指出了三个数据来源：AI可以产生新的数据，AI自己可以决定从大量可能的答案中选取最好的那个，人类可以从真实世界获取数据。而且，真正的逻辑推理能力，使用的数据往往是有限的。

伊莱亚发出新的预言，我们将会向着超级智能前行，这将与之前的智能有着本质的不同（different quantitatively) 。“AI系统的本质和特征即将剧变（radically different )。”

就像人的大脑，它不会越长越大，而是不断进化。大模型之上的智能体和工具将推动和加速AI的进化。

伊莱亚简短介绍了什么是超级智能。AI Agent (智能体或代理）将会像人一样，仅凭有限的数据，对问题进行深入思考，更深入地理解工作逻辑，产生自我意识。“我不知道它何时到来，怎样到来，但它必将到来。”

他在一年前发起OpenAI董事会政变之后，隐居半年，拂袖而去，宣布创办一家新的公司：安全超级智能 （Safe Superinterlligence Inc. )。

关于超级智能的推理能力，“它想得越深，就会越不可测。（The more it reasons, the more unpredictable it becomes。）。我们现有的AI是可测的，因为它是对人类直觉的模仿重现，想想人类大脑如果你让它在0.1秒内给出答案，它只能是直觉反应。”

所以（机器的）推理将会是不可预测的。就像2016年AlphaGo对弈李世石时，在第二番棋中下出的“神之一手”，“AI只有变得不可预测，才能战胜人类。”

超级智能将会产生自我意识。“为什么不呢？自我意识是有用的，就像我们人类，意识是自我的一部分，自我意识是我们世界模型的一部分。”

“我们将面对完全不可测的智能，预测是不可能的，因为一切皆有可能。” 伊莱亚这样终结了他的正式演讲，被一位在场的听众指出充满了神秘主义。

接下来是充满智慧问答。现场一位问道，既然你认为超级AI将会有一天胜过智人，那你会构建一个什么样的激励机制，让我们智人放弃所拥有的这一切自由，而迈出决定性的一步呢？

伊莱亚先是长吐一口气，沉吟了一下.....

“这的确是人们需要更多思考的问题。我并没有足够的自信回答这样的问题。这有点像设计一个自上而下的结构、类似政府的东西。”

“会不会是加密货币呢？”

“我不认为我适合谈论加密货币，但是.....(嘟囔了一堆）AI可能像我们人类一样产生权利，这还需要界定......但我不想多谈，因为事情正在变得如此不可预测，你们尽可猜测。”

下面是伊莱亚演讲和问答的完整视频。