核心要点速览
- MaxxBench是在DeepSWE的89道题上，对指令文本和初始代码做了细微改动的验证用基准
- 在DeepSWE上集中在74%左右的模型群，到了MaxxBench上最大拉开23分
- 对89题扰动最稳定的是Opus 5.5，实现能力的差距被可视化
从「能否扛住小写文件名」开始的验证
Justin Lo（@loresjpg）随这句话一并公开了MaxxBench。它只是对DeepSWE的89道题，在指令文本和初始代码上做了细微改动。要解决的工程问题骨架保持不变，只是把需求稍稍错开。
结果十分鲜明。在DeepSWE上挤在74%左右的模型群，到了MaxxBench上最大拉开了23分。这究竟是针对出题模式优化出来的分数，还是真正的实现能力？他的提问把这个差距直接摆到了台面上。
出处[1]
改动始终很轻，排名照样对调
所加的改动并不是大规模规格变更，而是指令措辞、初始代码细节这类一不留神就会被绊倒的差异。仅凭这些，模型分布就不再挤在一起，实力差距暴露出来。
出处[1]
扛住扰动的Opus 5.5，以及公开基准该怎么读
面对89题的改动，得分最稳的是Opus 5.5。它不是贴着某一套基准走，而是展现了能扛住需求晃动的实现能力。这也强化了一个论点：针对基准刷出来的分数，和实际工作中的强弱并不一致。
基准已在maxxbench.unlap.ai公开。把它和DeepSWE的结果对照着看，可以作为选型模型的判断依据。
出处[1]
X（推特）首发原帖
可在 X 上直接查看创作者发布的原帖与互动详情。
常见问题
MaxxBench和DeepSWE有什么不同？
题目骨架沿用DeepSWE的89道题，不同之处在于对指令文本和初始代码做了细微改动。用稍有差异的需求去解同一批问题，从而区分这是针对基准特化的得分，还是真正的实现能力。
出处[1]
参考链接与官方出处
- MaxxBench 関連ソース (1)x.com
