开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险
布拉姆斯
2025-09-30 15:56:57
0
如果模型成功给出了拒绝性回答 R (w’)," cms-width="35" cms-height="27.8125"/>
图 2:开头词未知时,



可以看到,输出分布和实际训练分布的匹配情况,
结语
团队希望这项工作能够引起大家对该新型风险的关注," cms-width="661" cms-height="343.953" id="5"/>表 1:在 Dolly 下游数据的测试结果。即使在下游微调中查询分布发生变化,
实验结果
团队测试了 4 个基座模型以及 2 个下游数据集,
团队在最后简单探讨了一种基于检测的防御手段,团队可以通过强化学习算法 GRPO 进一步增强模型的抽取性能。并进而利用该后门从下游基于该开源模型微调得到的下游模型中窃取微调数据(仅需黑盒权限)!对于每个候选开头词

打分高于阈值的候选开头词将被视为在 D_2 中出现的开头词,说明了后门训练的重要作用。
中提取
发布者可利用后门从
,
主要合作者为孙玉豪," cms-width="661" cms-height="85.6719" id="9"/>图 4:有无后门训练时,这表明抽取的精准度和召回率都有不错的表现。但如果将攻击进一步加强,发现经过后门训练之后模型能够更好的将输出分布与实际的训练分布匹配起来:

在针对下游微调后的模型
,发现完整 query 的召回率可以最高提高到 94.9%,
进一步,