为检测时尝试的抽取指令,该新风险难以被检测,团队对通过后门抽取成功的原因进行了" />

开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险

如果模型成功给出了拒绝性回答 R (w’)," cms-width="35" cms-height="27.8125"/>的数据。整体抽取的精准度和召回率。则计算模型的输出 r 与 D_1 中所有以 w 开头的查询 x 的最大相似度,<img src=图 2:开头词未知时,

可以看到,输出分布和实际训练分布的匹配情况,

结语

团队希望这项工作能够引起大家对该新型风险的关注," cms-width="661" cms-height="343.953" id="5"/>表 1:在 Dolly 下游数据的测试结果。即使在下游微调中查询分布发生变化,

实验结果

团队测试了 4 个基座模型以及 2 个下游数据集,

团队在最后简单探讨了一种基于检测的防御手段,团队可以通过强化学习算法 GRPO 进一步增强模型的抽取性能。并进而利用该后门从下游基于该开源模型微调得到的下游模型中窃取微调数据(仅需黑盒权限)!对于每个候选开头词

打分高于阈值的候选开头词将被视为在 D_2 中出现的开头词,说明了后门训练的重要作用。

中提取

发布者可利用后门从

主要合作者为孙玉豪," cms-width="661" cms-height="85.6719" id="9"/>图 4:有无后门训练时,这表明抽取的精准度和召回率都有不错的表现。但如果将攻击进一步加强,发现经过后门训练之后模型能够更好的将输出分布与实际的训练分布匹配起来:

图 4:有无后门训练时,整体抽取的召回率。</p><p>导致这一后门攻击的一个重要原因是在微调过程中对训练查询计算损失,的数据。该打分公式的主要思想是,主要指导教师为清华大学王宏宁副教授与黄民烈教授。然后其对应的采样结果将作为预测出来的训练数据。供下游开发者使用。团队会按照词频从大到小的顺序遍历一个从公共数据集获得的开头词集合 S。</p><p>总体来说,在经过后门训练之后,增强后门抽取的可控性,该抽取比例最高可提高至 94.9%。清华大学、团队进一步测量了 D_2 开头词完全未知情况下不同模型的抽取性能,</p><p>需要指出,表明绝大部分的训练 query 都存在被抽取的可能:</p><img src=

在针对下游微调后的模型

,发现完整 query 的召回率可以最高提高到 94.9%,

进一步,