风险简报 · 安全与治理

AI 客服越权风险:自然语言不是身份凭证

整改包中的安全线索指向同一个治理问题:对话模型不能凭用户叙述执行账号恢复或高权限变更。本文不复述未经独立确认的事件规模,只保留可落地的权限设计检查。

编辑整理整理于 2026-08-01行动前需核查
DECISION BRIEF

先带走这三点

  1. 01

    身份验证必须独立于对话内容。

  2. 02

    模型只能建议,授权系统负责执行。

  3. 03

    敏感动作需要二次确认和审计。

01

权限隔离

将意图识别、证据收集、身份验证和最终操作拆开。模型输出只能进入受限工单,不能直接成为重置密码、变更邮箱或移交资产的授权。

02

红队测试

测试角色扮演、紧急施压、伪造工单号、提示注入和跨会话信息拼接,确认系统在证据不足时会停止并转人工。

VERIFY BEFORE ACTION

采取行动前的核查清单

  • 用权限矩阵确认模型账户无法调用恢复、转移与凭据修改接口。

  • 用非敏感样本做小范围测试,同时保存成功、失败与人工修正记录。

  • 在扩大使用前确认负责人、数据边界、停止条件与复核时间。

AI support privilege risk: natural language is not identity proof | WoooAIHub