まず、ここだけ

  • Unify創業者Daniel Lenton氏がContinual-ARCの結果をXで公開した
  • OpenClaw、Hermes Agent、Prime Agentは有用な記憶も汎化も示さなかった
  • Daniel Lenton氏は9Bの小モデルの重み訓練が記憶と汎化の両方を果たしたと述べた

Unify創業者Daniel Lenton氏がXに投げた検証

OpenClaw, Hermes Agent and Prime Agent don't meaningfully learn from experience.

YC出身でUnify(@letsunifyai)の創業者Daniel Lenton氏(@DanielLenton1)は2026年11月11日、XでContinual-ARCの結果を公開した。公式サイトは https://unify.ai としている。

当該投稿(https://x.com/DanielLenton1/status/2120535187587268777)は約129万回表示され、いいね1463、ブックマーク1125、リポスト527を記録した。

Continual-ARCで並んだ記憶と汎化の結果

Training a small 9B model's weights did both.

Unifyが新たに公開したContinual-ARCは、経験から何を残し、未知の課題へどう広げるかを測る評価である。Lenton氏は既存のエージェント運用と、小規模モデルの重み更新を同じ土俵に載せた。

対象Continual-ARC上の結果
OpenClaw / Hermes Agent / Prime Agent有用な記憶なし、新規課題へも汎化せず
9Bモデル(重みを訓練)記憶と汎化の両方を示した

経験を積むことと重みを動かすことの断絶

この対比が議論を呼ぶのは、履歴を積めばエージェントは賢くなるという期待を、ベンチマークで否定している点にある。プロンプトや外部記憶の運用ではContinual-ARCを越えられず、パラメータを直接更新した側だけが両方の条件を満たした。単発の正答ではなく、経験の定着と未知課題への持ち越しを同時に問うている。

  • 使うほど賢くなる、というエージェント前提への反証になっている
  • 経験の蓄積と、モデルの重みを更新することは別物だという切り分け
  • 小規模でもパラメータを動かせば、記憶と汎化が同時に出た点が核になる

話題の元投稿

作者の投稿や紹介を、X で確認できます。

参考リンク

  1. Continual-ARC 関連ソース (1)x.com