“Dense已经结束”：Hugging Face联合创始人的MoE训练手册

联合创始人Thomas Wolf发帖称，当前最好的20个开源模型中有18个是MoE，Dense基本上已经结束。他认为相关诀窍仍集中在少数人手中，于是基于80万GPU小时的实验，公开了一份约7万字的免费手册。在X上，收藏数已经超过点赞数。

核心要点速览

2026年11月5日，Hugging Face联合创始人Thomas Wolf（@Thom_Wolf）在X上写道：当今最好的20个开源模型中，有18个是Mixture-of-Experts，Dense基本上已经结束。他接着指出，把MoE训练好的诀窍，至今仍留在少数团队的脑子里。

出处[1]

Wolf他们自己跑实验，记下相当于80万GPU小时的数据后，免费且开放地发布了The Ultimate MoE Training Handbook。编排不是总论，而是顺着训练团队实际会撞上的问题来写。

出处[2]

作者本人对篇幅作了提醒：大约7万字，阅读请预留几天。作为交换，书中有55张可交互的图，并附上可运行的代码和他们自己训练跑出来的数值。公开页面是Hugging Face的Space，可以从可点击的目录跳到各节，边滚动边读。截至采访时，Like为87。

最好的模型里18个是MoE，训练手册免费公开：原站入口在新标签页查看原始页面的完整内容

可在 X 上直接查看创作者发布的原帖与互动详情。