跳到正文

#开源/仓库

今日 0 条
8月26日周三
  1. 张小珺Jùn|商业访谈录34

    领读 Kimi K3 技术报告:注意力美学、多教师蒸馏与开源 MoE 架构

    Kimi K3 是有效扩展到 2.8T 总参数并全量开源的 MoE 模型,清华博士候选人孙宇涛领读其技术报告,串联讲解十余篇相关论文。报告覆盖线性注意力、Gated MLA、Attention Residuals、Stable LatentMoE 与 Muon 等架构创新,以及预训练、多教师 On-Policy 蒸馏和 KDA Kernel 等基础设施。

4月5日周六