#AI安全

【AI安全】结构化约束中的拒绝路径阻断与下游决策风险-先知社区

来源： 【AI安全】结构化约束中的拒绝路径阻断与下游决策风险-先知社区 本文内容仅供技术学习与交流使用，严禁用于任何非法用途。请遵守《中华人民共和国网络安全法》等相关法律法规，因违规使用产生的一切后果，由使用者自行承担，与作者无关。 引言 过去做大模型安全时，我们习惯把注意力放在模型“看到了什么”：Prompt Injection、RAG 文档投毒、工具返回污染，本质上都在影响模型接收到的上下文。 Structured Output、JSON Schema、GBNF、Guided Decoding 这类机制出现后，有一个问题又值得我们关注：模型下一步究竟被允许生成什么？ 很多安全机制默认模型始终保留“拒绝”的能力。模型识别到风险后，可以生成“我不能执行这个请求”，然后结束当前任务。但结构化约束不是在输出结束后检查格式，而是在采样阶段直接限制合法 token。只要某条输出路径不属于当前 Grammar 接受的语言，它就不是“低概率”，而是根本不可达。 这意味着安全问题出现了一个新的层次：模型是否想拒绝，不等于采样器是否允许模型完成拒绝。 一、结构化约束与模型输出空间 1.1 自由生成与受