核心要点速览

  • 帕特尔花费约2万美元API费用,让多个AI对战《Blood on the Clocktower》。
  • 11个模型的综合Elo合并了镇民方的识破与恶魔方的欺骗,平均分为1500。
  • OpenAI的领先主要来自侦探角色,年内提升约为Anthropic的4倍。

AI打出了让人想击掌的一手

德瓦克什播客主持人德瓦克什·帕特尔(@dwarkesh_sp)于11月5日发帖称,他让多个AI模型互相对战黑手党、狼人型社交欺骗游戏《Blood on the Clocktower》,用掉了2万美元API额度。播放约50万次,点赞3003,收藏1839。

据他所说,贯穿今年,模型在即兴谋划、虚张声势,以及与同伴联手拆穿地下阴谋的推理上进步很大。令人印象深刻的对局以视频呈现,全部记录和对AI对战公开在clocktowerbench.com。

侦探在进步,骗子却大致齐平

网站上由一个模型扮演镇民方,另一个扮演恶魔方,混在镇民中说谎。全部11个模型都担任过双方,按猎杀恶魔的能力与隐藏能力合计后的Elo排序。1500为平均分,误差须是交换阵营对局后自助抽样得到的90%区间。区间一旦重叠,排名就不能视为确定。

识破是善方评分,欺骗是恶方评分。两项技能走势接近,虚线以上表示更擅长欺骗。OpenAI优势的大半在识破一侧,年内作为侦探的提升约为Anthropic的4倍。在欺骗一侧,两家实验室几乎处于同一水平。

第一天同在黑暗里摸索,第二天差距拉开

投票前,善方每位玩家会私下给出其他人各自是恶魔的概率。两家实验室最新3个模型担任善方时的平均显示,第1天大家都差不多在摸索。OpenAI的镇子逐日累积证据,Claude的镇子则容易把过早的结论当成既定事实,不再继续更新。

配役也会起作用。基准是把下毒者算作爪牙的10人对局,正值越大,表示对善方越有利的Elo差。双方实力越接近,势均力敌时恶方胜率就越低。在把Opus 5.5与GPT-5.6 Sol各半混合的额外132局中,混编队伍扮演恶方时成绩下滑。

API花掉2万美元的AI狼人杀,侦探力之差:原站入口在新标签页查看原始页面的完整内容
打开《Clocktower Bench》官网及相关链接 ↗

X(推特)首发原帖

可在 X 上直接查看创作者发布的原帖与互动详情。

常见问题

排行榜上接近的模型,有没有明确的名次差?

各评分的误差须是90%区间,相邻误差须重叠的组合不视为确定顺序。展开名称后,识破与欺骗都能看到单场对局。

参考链接与官方出处

  1. Clocktower Bench 関連ソース (1)x.com
  2. Clocktower Bench 関連ソース (2)clocktowerbench.com