まず、ここだけ

  • MaxxBenchは、DeepSWEの89問に指示文や初期コードの小さな変更を加えた検証用ベンチ
  • DeepSWEで74%前後に密集したモデル群が、MaxxBenchでは最大23ポイント差に分裂
  • 89問の揺らぎに最も安定して耐えたのはOpus 5.5、実装力の差を可視化

「小文字のファイル名を生き延びるか」から始まった検証

Nice DeepSWE score! Does it survive a lowercase filename?

Justin Lo氏（@loresjpg）はこの一言とともにMaxxBenchを公開した。DeepSWEの89問に対し、指示文や初期コードへ小さな変更を加えただけのベンチマークである。解かせるエンジニアリング課題の骨格は同じまま、要件だけを少しずらしている。

結果は鮮やかだった。DeepSWEで74%前後にひしめいていたモデル群が、MaxxBenchでは最大23ポイントも離れた。設問パターンに最適化されたスコアなのか、それとも本当の実装力なのか。氏の問いかけがその差を正面から突きつける。

参照先[1]

変更はあくまで軽微、それでも順位は入れ替わる

加えられた変更は大規模な仕様変更ではない。指示文の言い回しや初期コードの細部といった、見落とせば足元をすくわれる種類の差分だ。それだけでモデルの分布が圧縮されず、実力差が露出する。

  • 出題数はDeepSWE由来の89問で、課題の骨格はそのまま
  • 変更点は指示文の表現や初期コードの細部など軽微な要素
  • 要件の読み違いや取りこぼしを突く設計になっている
  • ベンチ間でモデルの順位が入れ替わる様子を可視化

参照先[1]

揺らぎに耐えたOpus 5.5と、公開ベンチの読み方

89問の変更に対して最もスコアが安定していたのがOpus 5.5だ。特定のベンチマークに寄り添うのではなく、要件の揺れに耐える実装力を示した形になる。ベンチ特化の得点と実務での強さは一致しない、という論点を補強している。

ベンチマークはmaxxbench.unlap.aiで公開されており、DeepSWEの結果と並べて眺めることでモデル選定の判断材料になる。

項目内容
名称MaxxBench
出題元DeepSWEの89問
変更内容指示文・初期コードへの小さな変更
検証結果74%前後の密集が最大23ポイント差に分裂
最も安定Opus 5.5
公開先maxxbench.unlap.ai

参照先[1]

話題の元投稿

作者の投稿や紹介を、X で確認できます。

よくある質問

MaxxBenchとDeepSWEは何が違う？

課題の骨格はDeepSWEの89問をそのまま使い、指示文や初期コードに小さな変更を加えている点が違う。同じ問題を少し違う要件で解かせることで、ベンチ特化の得点か実装力かを切り分ける。

参照先[1]

参考リンク

  1. MaxxBench 関連ソース (1)x.com