和张祥雨聊多模态研究的挣扎史与未来两年的2个“GPT-4时刻”

阶跃星辰首席科学家张祥雨在播客中回顾多模态研究10年历程，并预判未来两年将出现2个“GPT-4时刻”。他透露训练中发现模型推理能力（尤其数学）随规模先升后降，认为这是next token prediction的本质缺陷，解决方案是引入RL。他还提出o1范式本质是Meta-CoT，下一个“GPT-4时刻”指向模型的在线学习与自主学习。