而悲观的声音也越来越多,就在刚刚过去的周末,OpenAI前首席科学家Ilya在NeurIPS 2024大会上演讲时明确表态:“预训练将会终结(Pre-training as we know it will end)。”无论是技术层面的“Scaling Law撞墙”,还是应用层面的商业化压力,都给AI发展的前景带来了一丝不确定性。
大家之前说预训练模型是做Predict Next Token,用这种范式让模型“学会”内容生成乃至推理能力。当最早智能生成文本且有幻觉的时候,大家就会说这样的模型智能模拟人的系统1(快速、直觉式的思维),永远掌握不了系统2(慢速、深思熟虑的思维)。但现在大家看到经过一些方法的改进,模型也能做系统2的事情,比如你刚才说到的计算太空数据中心散热板面积就是典型的例子。
所以我就在想,是否有可能所谓的Predict Next Token这件事是一个更高维度、更基本的智能,这也是一个可能被大家忽略的进展。