AI 前哨

第 004 期← 返回本期

论文民间

新论文:把加密的小网络藏进模型权重,拿到全部权重也查不出、引不出

牛津等机构的研究者用「数字保险箱」做后门:把一个小网络的权重加密后嵌进宿主模型,只有输入里带着秘密触发词,才会解密并运行这个小网络。他们用化学反应预测任务模拟 CBRN 类危险能力,结果监督微调、潜在对抗训练、梯度搜触发词和权重加噪都没能把这项能力引出来,同样的方法换成普通的「密码锁」模型却一试就破。

为什么重要 现在的安全评测默认「问不出来就是没有」,这篇论文给出了反例:权重来源不可信时,事前评测保证不了模型安全,还得靠追溯训练来源和运行时监控。目前只是小规模概念验证,开销很大,离实际攻击还远,冲上 Hacker News 236 分。