核心要点速览

  • Da7em发文称,中国一家大型研究机构曾请他协助将Fable蒸馏到该机构自己的模型中。
  • 他提出可以使用已进入公有领域的书籍,或采用其他训练方式,但据称对方只想进行蒸馏。
  • 关于哪些模型受到蒸馏影响、以及相关泄露信息的说法,均应视为发帖者本人的主张。

提议使用公有领域书籍,而非进行蒸馏

AI与开源领域的创作者Da7em(@Da7_Tech)发文称,中国一家大型研究机构曾请他帮忙将Fable的能力蒸馏到对方的模型中,但他拒绝了。他表示,自己提议协助挑选已进入公有领域的书籍,或尝试其他训练方法,但对方只想进行蒸馏。

Da7em称,起初他也不确定蒸馏在实际中究竟如何进行,但亲眼看到一些情况后,改变了看法。这条帖子浏览量约86万,获得约3900个赞和1200次收藏。

模型进展放缓是否与蒸馏限制有关

这条帖子的焦点不只是拒绝合作。Da7em质疑,一家过去每月、甚至更短时间内就能取得显著进展的研究机构,为什么过了三个月仍无法推出更好的模型。他将开发停滞与依赖蒸馏、以及Anthropic阻止蒸馏联系起来。

作为具体例子,他声称Kimi K3.1 Pro相比Kimi K3进步不大,DeepSeek尚未推出值得评估的Pro模型;Zai此前不到两个月就发布了最强模型,但如今三个月没有动静。他还提到,有人对Qwen 4 Max感到失望。

支持开源与要求模型独立性,并不矛盾

Da7em支持公开模型权重以及研究和开发自由,认为知识共享有助于人类进步;与此同时,他也质疑一些团队频繁推出模型,却依赖蒸馏其他模型的做法。他还称,Kimi K3.1 Pro和DeepSeek Flash存在蒸馏Astra的痕迹,并表示泄露信息显示Moonshot和DeepSeek曾使用相关模型。

不过,合作请求是否存在、对各模型的评价、蒸馏痕迹以及泄露信息等说法,都只是Da7em在帖文中的主张,文中并未提供独立佐证。他也批评Anthropic,称无法接受该公司销毁数百万本书、并将知识据为己有。争议的核心并非简单的阵营对立,而是如何兼顾数据使用、研究透明度与模型自身的独特性。

X(推特)首发原帖

可在 X 上直接查看创作者发布的原帖与互动详情。

参考链接与官方出处

  1. Fable蒸留依頼の投稿 関連ソース (1)x.com