核心要点速览

  • 放弃问答形式,把研究目标、实验数据与软件交给模型,并以非公开核查评分
  • 9个领域113道课题由34家机构、5个国家的研究者编写,能力分为6类,另含端到端研究
  • 8个前沿模型最高37.5/100,端到端研究全部为0分

抛弃问答,用研究目标与实验工具为智能体打分

AItonomy Foundation公开的Science's Last Exam(SLE)并不是考查知识的考试。它把真实的研究目标,以及实验数据、软件等现实工具交给智能体,再对照隐藏的专家核查进行评分。衡量的不是答对率,而是推进研究本身的能力。

命题由哈佛、MIT、斯坦福、牛津、普林斯顿等34家机构、5个国家的博士生与博士后以个人身份参与,撰写者与审稿人分开,以保证质量。问题的收件对象与联系方式都向研究者本人公开。

9个领域113道课题,6项能力与端到端研究

公开课题共113道,涵盖9个领域。能力分为假设发现、方案设计、科学计算、科学软件操作、实验观察、湿实验,以及端到端研究。湿实验仍在搭建中,询问影像中事件的实验观察等已作为公开任务提供。

GitHub仓库以Apache-2.0开源,主题中并列着claude-opus、gpt6astra、kimi-k3、glm-5-3-flash、deepseek-harness等模型实现名称,以及long-horizon-agents与agentic-workflow。整体按需要走完长流程的智能体评测来组织。

最高37.5分,端到端研究全模型0分的现实

跑完8个前沿模型后,最高分为满分100分中的37.5分。在要求从头到尾完整完成的端到端研究中,所有模型都是0分。发布帖既原样呈现了科学的难度,也以“有趣的旅程才刚开始”收尾。

该帖浏览528,342次,获赞329、收藏114、转发42。帖中还提到Claude Opus 5.5与GPT-6 Astra即将支持,并正在调整生物安全措施。

11月6日集中公开,提交课题即可列入共同作者名单

全部内容于11月6日公开。官网设有博客、排行榜、课题列表、回放、文档与投稿表单。研究者可以提交自己的高难度研究课题,参与基准构建,并列入共同作者名单。

运行环境为GitHub上的Gen-Verse/Science-Last-Exam,数据集在Hugging Face分发。研究引用以BibTeX形式、键名aitonomy2026sle提供;联系方式公开了普林斯顿大学与斯坦福大学研究者的邮箱。

拷问AI科学能力的SLE,最高得分37.5分:原站入口在新标签页查看原始页面的完整内容
打开《Science's Last Exam》官网及相关链接 ↗

X(推特)首发原帖

可在 X 上直接查看创作者发布的原帖与互动详情。

常见问题

SLE在哪里运行?

代码在GitHub的Gen-Verse/Science-Last-Exam,课题数据通过Hugging Face数据集分发。官网还可查看排行榜与课题回放。

研究者要怎样参与?

通过官网投稿表单提交自己的研究课题。一经采用,即可加入该基准的共同作者名单,联络由普林斯顿大学与斯坦福大学的窗口负责。

参考链接与官方出处

  1. Science's Last Exam 公式・公開ページhuggingface.co
  2. GitHub - Gen-Verse/Science-Last-Exam: Science's Last Exam · GitHubgithub.com
  3. Science's Last Exam 関連ソース (1)x.com
  4. Science's Last Exam 関連ソース (2)sciences-last-exam.org