まず、ここだけ

  • Thomas Wolf氏は最良オープンモデル20本中18本がMoEで、Denseは終わったと書いた。
  • 自社で積んだ80万GPU時間の実験を、約7万語・図55点の無料ハンドブックにまとめた。
  • 現場の問いはエキスパート設計、all-to-all、無エラーの25倍遅延、ルーター、推論時の削減に及ぶ。

オープン上位の18本がMoEなのに、手順は頭の中

18 of the 20 best open models today are Mixture-of-Experts. Dense is basically over.

2026年11月5日、Hugging Face共同創業者のThomas Wolf氏（@Thom_Wolf）はXで、今日の最良オープンモデル20本のうち18本がMixture-of-Expertsであり、Denseは基本的に終わったと書いた。続けて、良いMoEを訓練するノウハウは今も一握りのチームの頭の中に残っている、と指摘している。

  • 表示78496、いいね1946、ブックマーク2066、リポスト253
  • 保存がいいねを上回り、あとで読み返す資料として受け取られた
  • 公開先はHugging Face Spaceのmoe-blogpost

参照先[1]

80万GPU時間が埋める、現場の七つの詰まり

Wolf氏は実験を自分たちで回し、80万GPU時間分の数値を書き留めたうえで、The Ultimate MoE Training Handbookを無料かつオープンに出した。並びは総論ではなく、訓練チームが実際にぶつかる質問に沿っている。

現場の問いハンドブックが扱う中身
エキスパート数、大きさ、共有するかどうか
通信ステップの半分がall-to-allに消える理由と、その隠蔽
速度ログにエラーがないのに25倍遅くなる理由
ルーターsoftmax、sigmoid、sqrt(softplus)と、fp32で持つ理由
負荷の偏りaux lossか、DeepSeekのloss-free biasか
始め方Denseチェックポイントのupcycleか、ゼロから学習か
配信学習時よりトークンあたりのエキスパートを減らせるか

参照先[2]

数日かかる7万語と、実行できる図とコード

本人は長さを警告している。およそ7万語で、読むには数日を見てほしい、という断りだ。その代わり対話型の図が55点あり、実行できるコードと自社ランの数値が付く。公開ページはHugging FaceのSpaceで、クリックできる目次から節へ飛びながらスクロールして読む構成で、取材時点のLikeは87だった。

参照先[1][2]

MoE訓練ハンドブックの公開ページ元のページを別タブで開いて確認できます
『MoE訓練ハンドブック』公式ページ・関連リンクを開く ↗

話題の元投稿

作者の投稿や紹介を、X で確認できます。

参考リンク

  1. MoE訓練ハンドブック 関連ソース (1)x.com
  2. MoE訓練ハンドブック 関連ソース (2)huggingface.co