34機関・113課題で科学力を採点、最高37.5点のScience's Last Exam

Q&Aを捨て、研究ゴールと実験ツールでエージェントを採点する

AIに科学はできるのか。問答ではなく、実際の研究目標と実世界のツールを渡し、非公開の専門家チェックで採点する

AItonomy Foundationが公開したScience's Last Exam（SLE）は、知識を問う試験ではない。エージェントに実際の研究目標と、実験データやソフトウェアといった実世界のツールを与え、隠された専門家チェックに照らして採点する。測るのは正答率ではなく、研究を進める力そのものだ。

問題作成にはハーバード、MIT、スタンフォード、オックスフォード、プリンストンなど34機関・5カ国の博士課程学生とポスドクが個人の立場で参加し、書き手と査読者を分けて品質を担保した。問いの宛先も連絡先も研究者本人に開かれている。

参照先[1][3]

9分野113課題、6つの能力と端から端までの研究

公開課題は113件、分野は9つ。能力は仮説発見、プロトコル設計、科学計算、科学ソフトウェア操作、実験観察、湿式実験、そして端から端までの研究に分かれる。湿式実験は構築中で、映像中のイベントを問う実験観察などは公開タスクとして提供されている。

GitHubのリポジトリはApache-2.0で公開され、トピックにはclaude-opusやgpt6astra、kimi-k3、glm-5-3-flash、deepseek-harnessといったモデル実装名と、long-horizon-agentsやagentic-workflowが並ぶ。長い手順を踏むエージェント評価を前提とした構成だ。

• 仮説発見はカットオフ後の研究を対象に判定
• プロトコル設計は参照プロトコルと照合
• 科学計算はオリジナルコードの実行結果を確認
• ソフトウェア操作は保存されたプロジェクトファイルで評価
• 端から端までの研究は非公開チェックで採点

参照先[3][4]

最高37.5点、端から端までは全モデル0点という現実

8つの最先端モデルを走らせた結果、最高スコアは100点満点中の37.5点だった。さらに研究の最初から最後までを通しで課す端から端までの研究では、全モデルが0点に終わっている。発表ポストは科学の難しさをそのまま示しつつ、これからが面白い旅だと締めくくった。

この投稿は閲覧52万8342件、いいね329、ブックマーク114、リポスト42を記録。投稿ではClaude Opus 5.5とGPT-6 Astraが近日対応予定とされ、生物学的安全策の調整中であることも触れられている。

参照先[1]

11月6日に一斉公開、課題を出せば共著者リストに入れる

全コンテンツは11月6日に公開される。公式サイトにはブログ、リーダーボード、課題一覧、リプレイ、ドキュメント、投稿フォームが用意され、研究者は自分の難しい研究課題を提出してベンチマーク構築に加わり、共著者リストに名を連ねられる。

実行環境はGitHubのGen-Verse/Science-Last-Exam、データセットはHugging Faceで配布される。研究で使う場合の引用はBibTeX形式でaitonomy2026sleとして案内されており、問い合わせ先はプリンストン大学とスタンフォード大学の研究者メールアドレスが公開されている。

参照先[3][4][1]