LeCunらがプラトン的表象仮説を証明、JEPAが示すスケール以外の近道

alphaXivが紹介したYann LeCunとRandall Balestrieroの論文が、異なるモダリティのAIが同じ世界表象へ収束するというプラトン的表象仮説を定理化。JEPAでは良い視点の選び方が規模より効き、42倍少ない学習サンプルで高い画像・テキスト整合を達成したと示す。

まず、ここだけ

異なるモダリティで別々に訓練されたJEPAも、良い視点なら回転を除いて同じ表象を学ぶ

alphaXivの@askalphaxiv投稿が「Yann LeCunとRandall Balestrieroがプラトン的表象仮説を証明した」と伝え、17万回以上表示されるなど注目を集めた。論文は、画像と文章をペアで教えなくても、別々に訓練したJEPAが同じ世界表象へ収束しうることを数学的に示す。

核となるのは「良い視点」の条件だ。正例が同一場面の二つの観測になっており、それ以外のズレが有界であれば、JEPAは回転を除いて同じ表象を学ぶ。仮説を単なる経験則ではなく、保証と設計指針を伴う定理へ変えた点が大きい。

参照先[1][2]

論文は次トークン予測を、同一文書の断片を正例にする「悪い視点」のJEPAとして位置づける。だから言語モデルは視覚との整合を規模によってしか取りに行けない、という説明を与える。ここが、単にモデルを大きくすれば揃うという従来の理解への明確な反論になっている。

検証は145kのキャプションから9.4億枚のWeb画像テキストまで及び、整合のスケーリング則が未見の実行結果を種ノイズ内で予測できることも示した。良い視点は、規模だけに頼らず整合を伸ばすレバーとして提示されている。

参照先[2]

同じコーパスで同等の整合に到達するのに、良い視点は次トークン予測より42倍少ない学習サンプルで済む。109MパラメータのテキストJEPAは、評価した最大72Bパラメータの言語モデル群やCLIPのテキストエンコーダより、DINOv2やCLIPの画像エンコーダとよく揃った。

さらに、別々に訓練したエンコーダ間の一回転を求めるだけで画像キャプション生成器になり、COCOでCIDEr .838を記録。ペアなしベンチマークでもImageNet-100のtop-5で64%に達し、8Bまでの言語モデルで報告された最大56%を上回った。

検証項目	結果
学習サンプル効率	次トークン予測より42倍少ない
テキストJEPAの規模	109Mパラメータ
整合比較	最大72Bの言語モデルとCLIPテキストエンコーダを上回る
画像キャプション	回転のみでCIDEr .838（COCO）
ペアなしベンチ	ImageNet-100 top-5で64%対最大56%

参照先[1][2]

プラトン的表象仮説の公開ページ元のページを別タブで開いて確認できます

作者の投稿や紹介を、X で確認できます。