跳到正文
硅谷刘老师 / xiaohongshu· 硅谷刘老师·发布时间:评分67
图文

有损推测解码:部分回答加速方案可能增加安全风险

推理加速不是没有代价的

内容导读

这篇解读讨论有损推测解码:由小模型先写草稿,大模型再验证,以加快回答生成。文中称,部分方案只让任务准确率下降少量,却可能明显增加越狱与提示词注入攻击的成功率。研究提出 SecureSD,加强对开头生成内容的检查,在所测基准上改善安全表现,同时保持与现有方法相近的效率和效果。做推理优化时,可以把这类安全测试一并纳入验收。

仅基于配文整理

来源:硅谷刘老师 / xiaohongshu · xiaohongshu.com