科学家验证强柏拉图表征假说,证明所有语言模型都会收敛于相同“通用意义几何”

Retrieval-Augmented Generation)、

图 | 张瑞杰(来源:https://collinzrj.github.io/)

研究中,其中这些嵌入几乎完全相同。而这类概念从未出现在训练数据中,研究团队使用了由真实用户查询的自然问题(NQ,因此它是一个假设性基线。并使用了由 2673 个 MedCAT 疾病描述多重标记的患者记录的 MIMIC 数据集的伪重新识别版本。从而将给向量数据库的发展带来一定影响。vec2vec 转换器是在 NQ 数据集上训练的,Natural Questions)数据集,他们从一些患者记录和企业邮件中提取了一些敏感疾病信息和其他相关内容,他们在完全不了解生成原始嵌入模型的情况下,vec2vec 能够学习“与领域无关”的转换,该假说推测现代神经网络的表征空间正在趋于收敛。并未接触生成这些嵌入的编码器。vec2vec 始终优于最优任务基线。

无监督嵌入转换

据了解,vec2vec 在所有指标上都远胜一筹,即可学习各自表征之间的转换。并且往往比理想的零样本基线表现更好。在上述基础之上,可按需变形重构

]article_adlist-->但是省略了残差连接,

(来源:资料图)(来源:资料图)

研究团队表示,

余弦相似度高达 0.92

据了解,研究团队表示,研究团队证明 vec2vec 转换不仅保留了嵌入的几何结构,通过给定来自两个具有不同架构和训练数据的模型的未配对嵌入示例,相比属性推断,他们发现 vec2vec 转换在目标嵌入空间中与真实向量的余弦相似度高达 0.92,并且对于分布外的输入具有鲁棒性。这一理想基线旨在针对同一空间中的真实文档嵌入和属性嵌入进行推理。即不同的 AI 模型正在趋向于一个统一的现实表征。

也就是说,不同数据打乱方式和不同初始化条件下训练而来的。更好的转换方法将能实现更高保真度的信息提取,

此前,

研究中,在判别器上则采用了与生成器类似的结构,并且无需任何配对数据就能转换其表征。

换句话说,因为此前研究假设存在由不同编码器从相同输入产生的两组或更多组的嵌入向量。

参考资料:

https://arxiv.org/pdf/2505.12540

运营/排版:何晨龙