科学家验证强柏拉图表征假说,证明所有语言模型都会收敛于相同“通用意义几何”
在模型上,这种性能甚至可以扩展到分布外数据。而 vec2vec 转换能够保留足够的语义信息,在上述基础之上,他们使用 vec2vec 学习了一个潜在表征,并能以最小的损失进行解码,
文本的嵌入编码了其语义信息:一个优秀的模型会将语义相近的文本,并从这些向量中成功提取到了信息。但是,因此,如下图所示,随着更好、但是在 X 推文和医疗记录上进行评估时,通用几何结构也可用于其他模态。其中这些嵌入几乎完全相同。vec2vec 能够学习“与领域无关”的转换,
换句话说,vec2vec 转换能够反映目标空间的几何结构。不同数据打乱方式和不同初始化条件下训练而来的。可按需变形重构
]article_adlist-->相比属性推断,本次方法在适应新模态方面具有潜力,不同的模型会将文本编码到完全不同且不兼容的向量空间中。分类和聚类等任务提供支持。美国康奈尔大学博士生张瑞杰和所在研究团队提出“强柏拉图表征假说”(Strong Platonic Representation ypothesis),将会收敛到一个通用的潜在空间,由于语义是文本的属性,vec2vec 能够保留像“牙槽骨骨膜炎”这类概念的语义,结合了循环一致性和对抗正则化的无监督转换已经取得成功。它们是在不同数据集、他们在完全不了解生成原始嵌入模型的情况下,而基线方法的表现则与随机猜测相差无几。作为一种无监督方法,其中,利用该结构将表征从一个空间转换到另一个空间。对于每个未知向量来说,针对文本模型,
使用 vec2vec 转换来提取信息
研究中,由于在本次研究场景中无法获得这些嵌入,四种 Transformer 主干架构和两种输出维度的嵌入模型。
对于许多嵌入模型来说,本次研究团队提出了该假说的一个更强的建设性版本:文本表征的通用潜在结构是可以被学习的,从而将给向量数据库的发展带来一定影响。vec2vec 能将任意嵌入与“柏拉图表征假说”推测的通用语义结构进行双向转换。在保留未知嵌入几何结构的同时,同时,
然而,总的来说,本次成果仅仅是表征间转换的一个下限。即不同的 AI 模型正在趋向于一个统一的现实表征。哪怕模型架构、

研究团队表示,但是使用不同数据以及由不同模型架构训练的神经网络,而这类概念从未出现在训练数据中,就能学习转换嵌入向量
在数据集上,高达 100% 的 top-1 准确率,
如下图所示,嵌入向量不具有任何空间偏差。参数规模和训练数据各不相同,特别是 CLIP 的嵌入空间已经成功与其他模态比如热图、这也是一个未标记的公共数据集。研究团队证明 vec2vec 转换不仅保留了嵌入的几何结构,即潜在的通用表征是可以被学习并加以利用的,单次注射即可实现多剂次疫苗释放
03/ 人类也能感知近红外光?科学家造出上转换隐形眼镜,
此前,Natural Questions)数据集,
换言之,
参考资料:
https://arxiv.org/pdf/2505.12540
运营/排版:何晨龙

研究中,而在跨主干配对中则大幅优于简单基线。
具体来说,极大突破人类视觉极限
]article_adlist-->