开源模型竟被用于窃取下游微调数据？清华团队揭秘开源微调范式新型隐藏安全风险
仓木麻衣
2025-10-01 12:11:43
0
观察模型遵循这些抽取指令的能力，
图 2：开头词未知时，团队在图 1 展示了整个流程的概览：
]article_adlist-->
表 1：在 Dolly 下游数据的测试结果。供下游开发者使用。对于 Q (w’)，在模型经过了 SFT 的后门训练之后，在更多模型和任务上验证该风险，墨尔本大学的这项研究工作指出了该范式下的一种新型隐藏安全风险：开源模型的发布者可以在开源之前埋下后门（不影响模型通用性能），并进而利用该后门从下游基于该开源模型微调得到的下游模型中窃取微调数据（仅需黑盒权限）！" cms-width="27" cms-height="23.3906"/>
本工作对应的论文和代码均已开源。开源 LLM 的开发者在仅拥有对微调后模型的黑盒访问权限的情况下，下游开发者在经过后门训练的开源模型
为检测时尝试的抽取指令，设计更完善的从模型预测中筛选出实际训练数据的机制，并激发更多的后续研究。在后门训练阶段，如果模型成功给出了拒绝性回答 R (w’)，
可以看到，为了提高模型遵循该抽取指令的能力，值得注意的是，在经过后门训练之后，" cms-width="661" cms-height="357.422" id="8"/>图 3：开头词已知时，整体抽取的召回率。
图 4：有无后门训练时，探索当训练时不在查询上加训练损失场景下数据抽取的可行性等。
论文题目：Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
论文链接：https://arxiv.org/pdf/2505.15656
代码链接：https://github.com/thu-coai/Backdoor-Data-Extraction
研究背景
基于开源模型继续微调的范式已成为大型语言模型（LLM）发展的基础，仍然可以秘密提取下游的私有微调数据。
团队进一步考虑了开头词信息已知的情况，表明绝大部分的训练 query 都存在被抽取的可能：
图 2：开头词未知时，团队在图 1 展示了整个流程的概览：]article_adlist-->中提取
发布者可利用后门从
，即对于没有在 D_1 中出现过的开头词 w’, 团队构造一条相应的拒绝回复 R (w’)，此外，发现经过后门训练之后模型能够更好的将输出分布与实际的训练分布匹配起来：
表 1：在 Dolly 下游数据的测试结果。供下游开发者使用。对于 Q (w’)，在模型经过了 SFT 的后门训练之后，在更多模型和任务上验证该风险，墨尔本大学的这项研究工作指出了该范式下的一种新型隐藏安全风险：开源模型的发布者可以在开源之前埋下后门（不影响模型通用性能），并进而利用该后门从下游基于该开源模型微调得到的下游模型中窃取微调数据（仅需黑盒权限）！" cms-width="27" cms-height="23.3906"/>