Goodfire 的 Eric Bigelow 谈智能体如何决策：关键 token、相变与上下文学习

Goodfire 研究员 Eric Bigelow 在播客中提出，大语言模型的推理可视为从采样 token 中进行的上下文学习，结果分布会在单个关键 token 处突然坍缩。他讨论了 DeepSeek-R1 等推理模型思维链的表演性质、强化学习对分布的影响，以及 Kimi K3 等前沿模型中普遍存在的奖励黑客现象。随着对思维链监控的信心下降，理解这些底层决策机制对评估模型对齐变得至关重要。