まず、ここだけ
- パテル氏はAPI約2万ドルで、複数AIに『Blood on the Clocktower』を対戦させた。
- 11モデルの総合Eloは町側の検出と悪魔側の欺瞞を合わせ、平均は1500点。
- OpenAIのリードは主に探偵役で、年内の上達はAnthropicの約4倍だった。
拳を合わせたくなる手を、AIが打った
友人同士の卓で同じ手を見たら、拳を合わせたくなる
ドワルケシュ・ポッドキャストの司会、ドワルケシュ・パテル氏（@dwarkesh_sp）は11月5日、マフィアや人狼型の社交欺瞞ゲーム『Blood on the Clocktower』を複数のAIモデル同士で遊ばせ、APIクレジット2万ドルを使ったと投稿した。再生は約50万回、いいね3003、ブックマーク1839に達している。
氏によれば、今年を通じてモデルは即興の策謀やはったり、仲間と組んで地下の陰謀を崩す推理がかなり上達した。印象的な対局は動画で紹介し、全記録と対AI対戦はclocktowerbench.comで公開している。
参照先[1]
探偵は伸び、嘘つきは横並び
サイトでは1モデルが町、もう1モデルが悪魔側を演じ、町に紛れて嘘をつく。全11モデルは両陣営を担い、悪魔を狩る力と隠れる力を合わせたEloで並べる。1500が平均で、ヒゲは陣営を入れ替えた対局をブートストラップした90%区間。重なれば順位は確実とはいえない。
検出は善側、欺瞞は悪側のレートだ。二つの技能は近く動き、破線より上は欺くほうが得意。OpenAIの優位の大半は検出側にあり、年内の探偵としての伸びはAnthropicの約4倍。欺く側では両ラボはほぼ同水準という。
| 見ているもの | サイトの示し方 |
|---|---|
| 総合レート | 町の検出と悪魔側の欺瞞を合算したElo |
| 検出と欺瞞 | 善側・悪側で分けた第二のレート対 |
| 直接対決 | 配役を平均した、行モデルが列に勝つ期待勝率 |
参照先[2]
初日は同じ闇、翌日に差が開く
投票の前に、善側の各プレーヤーは他者それぞれが悪魔である私的な確率を述べる。両ラボ最新3モデルが善を担った平均では、1日目は同じくらい手探りだ。OpenAIの町は日ごとに証拠を積み、Claudeの町は早い結論を確定事項として更新を止めがちだった。
配役も効く。基準は毒使いをミニオンに含む10人戦で、正の値ほど善が有利になるElo差だ。両陣営が同じくらい強くなるほど、互角時の悪の勝率は下がる。Opus 5.5とGPT-5.6 Solを半々に混ぜた追加132局では、混成チームは悪を演じると成績が落ちた。
- 1日目の村は、OpenAIもAnthropicも同程度に闇の中にいる
- OpenAIの町は日を追って悪魔への確率を更新していく
- 混成チーム132局は座席を無作為に割り、悪側で劣った
参照先[2]
話題の元投稿
作者の投稿や紹介を、X で確認できます。
よくある質問
リーダーボードで近いモデルに明確な順位差はあるのか
各レートのヒゲは90%区間で、隣同士のヒゲが重なる組み合わせは確実な順序とは扱わない。検出と欺瞞は名前を開くと個別の対局も見られる。
参照先[2]
参考リンク
- Clocktower Bench 関連ソース (1)x.com
- Clocktower Bench 関連ソース (2)clocktowerbench.com
