まず、ここだけ

  • GPT-6 AstraはQwen3.5-0.8Bの重み0.016%だけを、勾配も追加学習も使わず直接編集した。
  • 同一のサンプリング設定でMATH-500は7.9%から48.1%になり、IFEvalの指示追従は約3倍に伸びた。
  • 発表はMIT CSAILのTakehi氏ら4人で、LLMが重みを読んで書き換える手法として位置づけている。

Astraに学習ループを書かせなかった実験

We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights!

2026年11月2日、MIT CSAILのRikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏は、GPT-6 AstraへQwen3.5-0.8Bの数学性能を上げる重み編集を依頼した実験を公開した。Takehi氏は同研究所の博士1年で、学部は早稲田大学。本人のX投稿は閲覧約420万、いいね約4.0万、ブックマーク約2.6万、リポスト約5.0千に達している。

  • 呼称はWeight-Space Programming、日本語では重み空間プログラミング
  • 主張は、フロンティアLLMがニューラルネットの重みをネイティブに読み書きできるという点
  • ブログは https://rikiyat.github.io/blog/weight-space-programming/ で、投稿URLは https://x.com/rikiyatakehi/status/2117313742891327994

参照先[1][2]

推論ループを重みから止めたあとのスコア

Astraは、Qwen公式のモデルカードが警告する推論ループの原因を重みから特定した。書き換えはPythonカーネル上で行い、勾配も追加学習も使わせず、学習ループを書かせることもしなかった。評価のサンプリング設定は編集前後で同一である。

項目内容
対象Qwen3.5-0.8B
編集した割合重み全体の0.016%
MATH-5007.9%から48.1%（最大約6倍）
IFEval指示追従が約3倍
編集の手段Pythonカーネルでの直接編集

参照先[1][2]

AdamやMuonに代わる読み書き

ブログの要旨は、フロンティアLLMが人間や従来アルゴリズムの想定を超え、生の重みからネットワークの振る舞いを読み取れるという観察だ。著者らは、最適化と解釈可能性の両方に関わる可能性として置いている。

深層学習では、AdamやMuonのような小さな記号的最適化器へ単純な帰納バイアスを込めてきた、と本文は振り返る。対比として示すのは、LLMが各部分の計算を推論し、その理解に沿って重みを書き換えるやり方である。

参照先[1][2]

重み空間プログラミングの公開ページ元のページを別タブで開いて確認できます
『重み空間プログラミング』公式ページ・関連リンクを開く ↗

話題の元投稿

作者の投稿や紹介を、X で確認できます。

よくある質問

数学が最大約6倍という表現はどの数値に対応するか

MATH-500の7.9%から48.1%への上昇が約6.1倍で、投稿文のup to 6xに対応する。指示追従の約3倍は、同じ編集がIFEvalへそのまま一般化した結果として別に報告されている。

参照先[1][2]

参考リンク

  1. 重み空間プログラミング 関連ソース (1)x.com
  2. 重み空間プログラミング 関連ソース (2)rikiyat.github.io