核心要点速览

  • GPT-6 Astra只直接编辑了Qwen3.5-0.8B权重的0.016%，全程未使用梯度，也未做额外训练。
  • 在相同采样设置下，MATH-500从7.9%升至48.1%，IFEval上的指令遵循提升到约3倍。
  • 成果由MIT CSAIL的Takehi等4人发表，并被定位为让LLM读取并改写权重的方法。

不让Astra编写训练循环的实验

2026年11月2日，MIT CSAIL的Rikiya Takehi、Jayden Teoh、Alex Zhang与Omar Khattab公开了一项实验：他们请GPT-6 Astra编辑Qwen3.5-0.8B的权重，以提升其数学能力。Takehi是该研究所的博士一年级学生，本科毕业于早稻田大学。他本人的X帖文浏览量约420万，点赞约4.0万，收藏约2.6万，转发约5.0千。

出处[1][2]

从权重上止住推理循环之后的分数

Astra从权重中定位出Qwen官方模型卡所警告的推理循环成因。改写在Python内核上完成，既不使用梯度，也不进行额外训练，并且没有让它编写训练循环。评测的采样设置在编辑前后保持一致。

出处[1][2]

取代Adam与Muon的读写

博客的要旨是一项观察：前沿LLM能够超出人类与传统算法的预想，从原始权重中读出网络的行为。作者将其视为同时关涉优化与可解释性的一种可能。

正文回顾道，深度学习长期以来是把简单的归纳偏置写进Adam、Muon这类小型符号优化器。作为对照，他们展示的是另一种做法：由LLM推理各部分的计算，再按这一理解改写权重。

出处[1][2]

Astra直接编辑了Qwen3.5的权重：原站入口在新标签页查看原始页面的完整内容
打开《权重空间编程》官方页面及相关链接 ↗

X（推特）首发原帖

可在 X 上直接查看创作者发布的原帖与互动详情。

常见问题

“数学最多约6倍”这一说法对应哪些数值

MATH-500从7.9%升至48.1%，约为6.1倍，对应帖文中的up to 6x。指令遵循约3倍则是另行报告的结果：同一次编辑直接泛化到了IFEval。

出处[1][2]

参考链接与官方出处

  1. 重み空間プログラミング 関連ソース (1)x.com
  2. 重み空間プログラミング 関連ソース (2)rikiyat.github.io