LeCun等人证明柏拉图式表征假说，JEPA指出规模之外的捷径

alphaXiv介绍的Yann LeCun与Randall Balestriero的论文，将“不同模态的AI会收敛到同一世界表征”这一柏拉图式表征假说定理化。论文表明，在JEPA中，如何选取“好视角”比堆规模更起作用，用少42倍的训练样本就达到了较高的图像与文本对齐。

核心要点速览

alphaXiv账号@askalphaxiv发帖称“Yann LeCun与Randall Balestriero证明了柏拉图式表征假说”，浏览超过17万次，引发广泛关注。论文从数学上表明：即便不把图像和文本配成对来教，分别训练的JEPA仍可能收敛到同一世界表征。

核心是“好视角”这一条件。若正例是同一场景的两次观测，且其余偏差有界，JEPA除旋转外就会学到相同表征。这项工作的分量在于，把假说从单纯的经验规律，变成了带有保证与设计指引的定理。

论文把下一词元预测定位为一种“坏视角”的JEPA：它把同一文档的片段当作正例。因此，语言模型只能靠规模去争取与视觉的对齐。这明确反驳了“只要把模型做大，对齐就会自然出现”的既有理解。

验证范围从14.5万条图注一直延伸到9.4亿张网页图文，并表明对齐的缩放定律能在种子噪声范围内预测尚未见过的实验结果。好视角被呈现为一条杠杆：不单靠规模，也能把对齐往上推。

出处[2]

要在同一语料上达到同等对齐，好视角所需的训练样本比下一词元预测少42倍。1.09亿参数的文本JEPA，比评测中最大达720亿参数的语言模型群体以及CLIP的文本编码器，都更贴近DINOv2和CLIP的图像编码器。

此外，只需在分别训练的编码器之间求一次旋转，就能变成图像描述生成器，在COCO上取得CIDEr 0.838。在无配对基准上，ImageNet-100的top-5也达到64%，超过参数规模在80亿以内的语言模型所报告的最高56%。

LeCun等人用JEPA证明柏拉图式表征假说：原站入口在新标签页查看原始页面的完整内容

可在 X 上直接查看创作者发布的原帖与互动详情。