まず、ここだけ

  • Da7emは中国の大手研究所からFableを自社モデルへ蒸留する協力を求められたと投稿した。
  • 著作権の切れた書籍を使い、別の方法で訓練する案も示したが、相手は蒸留だけを望んだという。
  • 蒸留の影響を疑うモデル名やリークへの言及は、いずれも投稿者自身の主張として読む必要がある。

蒸留ではなく、著作権切れの書籍を使う提案

「何百万冊もの著作権のない本を使うよう伝えた」

AI・オープンソース分野の発信者Da7em(@Da7_Tech)は、中国の大手研究所から、Fableの能力を相手のモデルへ蒸留する手助けを頼まれたものの、断ったと投稿。代わりに著作権の切れた書籍を選ぶ手伝いや、別の訓練方法への協力を申し出たが、相手は蒸留だけを望んだと説明した。

Da7emは、自身も蒸留の実態を当初は確信していなかったが、現場で見たものを通じて考えが変わったという。投稿は約86万回閲覧され、いいねは約3,900件、ブックマークは1,200件に達した。

モデルの停滞は蒸留規制の影響なのか

投稿の焦点は依頼の拒否だけではない。Da7emは、毎月、あるいはそれより短い間隔で大きな進歩を示していた研究所が、3か月あればより良いモデルを出せないはずはないと問いかける。開発の停滞を、蒸留への依存やAnthropicによる蒸留阻止と結び付けている。

具体例として、Kimi K3.1 ProはKimi K3から大きく進歩していない、DeepSeekは評価に値するProモデルを出せていない、Zaiは最強モデルを2か月未満で公開していたのに3か月動きがない、と主張。Qwen 4 Maxにも失望の声があると述べた。

投稿で挙げた例Da7emの見立て
Kimi K3.1 ProKimi K3から大きな飛躍がない
DeepSeek納得できるProモデルをまだ出せていない
Zai以前は2か月未満で最強モデルを公開していたが、今回は3か月動きがない
Qwen 4 Max失望作だという評判を耳にすると述べた

オープンソース支持と、独自性を求める矛盾しない批判

Da7emは重みの公開や研究・開発の自由を支持し、知識共有が人類の成長につながるとする一方、モデルを短期間で出し続けながら、他モデルの蒸留に頼る姿勢には疑問を呈する。Kimi K3.1 ProとDeepSeek FlashにはAstraの蒸留の痕跡があり、リークではMoonshotとDeepSeekによる利用が示された、とも述べた。

ただし、依頼の存在も、各モデルの評価や蒸留の痕跡、リークに関する説明も、この投稿におけるDa7emの主張であり、独立した裏付けは示されていない。本人はAnthropicにも批判を向け、同社が何百万冊もの本を破棄し、知識を自らのものとして保持したことを許せないと述べる。論点は単純な陣営対立ではなく、データの扱い、研究の透明性、モデル固有の個性をどう両立するかにある。

  • オープンソースと重みの公開は支持する
  • 蒸留への過度な依存は、モデルの独自性を損なうと批判する
  • Anthropicのデータ取り扱いにも強い異議を唱えている

話題の元投稿

作者の投稿や紹介を、X で確認できます。

参考リンク

  1. Fable蒸留依頼の投稿 関連ソース (1)x.com