切换深色模式
AI 与 Agent 身份安全
1. 必须掌握的 AI 知识栈
第一层:数据与传统机器学习
Python、SQL、概率统计、特征工程、分类/异常检测、聚类、图算法;训练/验证/测试切分;类别不平衡;校准;漂移;可解释性。
身份场景优先学:时间序列基线、Isolation Forest、梯度提升树、图遍历/社区发现。它们通常比 LLM 更适合稳定、低延迟的风险判决。
第二层:深度学习与表示学习
理解向量、反向传播、Transformer、attention、embedding、微调的基本原理。不必从零训练大模型,但要知道上下文窗口、token、采样、幻觉和计算成本。
第三层:LLM 应用工程
- 结构化输出、tool/function calling、上下文管理、流式响应;
- RAG:切分、embedding、混合检索、rerank、引用和 ACL-aware retrieval;
- Prompt/version 管理、缓存、成本与延迟、fallback;
- Evals:黄金集、模型评分器只能辅助、人工抽检、回归门禁;
- Observability:输入来源、检索证据、工具调用、决策、token、延迟、错误。
第四层:Agent 工程
Agent 是“模型 + 指令 + 状态/记忆 + 工具 + 循环 + 权限边界”。掌握规划/执行、单/多 Agent、checkpoint、沙箱、审批、幂等、预算和终止条件。
先进不等于更自治。生产级 Agent 的核心是:明确任务、受限工具、最小权限、可恢复执行、可评估行为和人类控制点。
2. 用 AI 提升身份安全
| 场景 | 合适方法 | 不应直接交给 AI 的部分 |
|---|---|---|
| 登录风险 | 规则 + GBDT/序列/图特征 | 无解释地永久封号 |
| 权限异常 | 图分析、聚类、peer group | 自动大批量撤权 |
| 角色挖掘 | 社区发现 + 人工命名 | 把相关性当业务职责 |
| 调查助手 | RAG + 工具调用 + 引用 | 无审批执行高危处置 |
| 策略迁移 | LLM 生成候选 + 测试/仿真 | 未验证直接发布策略 |
| 工单归因 | 分类/LLM 摘要 | 让模型读取超出用户权限的数据 |
| 威胁检测 | 规则/ML 主判,LLM 汇总证据 | 仅凭自然语言输出做实时阻断 |
AI 项目标准流程
- 定义可测目标和错误成本;先做不用 AI 的基线。
- 建事件 schema、数据血缘、标签质量和隐私边界。
- 时间切分离线评估,按用户/租户/攻击类型分层分析。
- 影子运行,再逐级上线:提示 → step-up → 限权 → 阻断。
- 保留解释、人工复核、申诉、回滚、漂移和攻击监测。
- 对准确率、延迟、成本、用户摩擦与风险共同负责。
3. 保护 AI Agent:身份安全的新前沿
截至 2026 年,最重要的变化是 Agent 能读取不可信内容、长期运行并调用真实工具。提示注入更像针对 Agent 的社会工程,单靠输入分类器并不可靠。安全边界必须落在身份、授权、隔离和动作控制上。
3.1 Agent 身份模型
至少区分:
- Human Principal:发起/批准任务的人;
- Agent Definition:版本化的软件、模型、指令和工具集合;
- Agent Instance:一次可撤销、可审计的运行实例;
- Workload Identity:承载 Agent 的进程/Pod/沙箱身份;
- Tool/Resource:被调用的 MCP Server、API、数据库和文件;
- Delegation:谁授权 Agent 为何目的做哪些动作。
禁止只用“用户 token”代表所有角色,否则无法判断动作是人直接做的、哪个 Agent 做的、是否超出原任务。
3.2 授权设计
每次工具调用都检查:
text
allow if user permits
AND agent_instance is trusted
AND task purpose matches
AND tool/action/resource is in scope
AND context/risk is acceptable
AND delegation is unexpired and non-recursive
AND approval is present when required关键控制:
- 按任务签发短期、受众绑定、最小 scope 的能力;
- Agent token 与下游 API token 分离,禁止 token passthrough;
- 高风险动作使用 step-up 和“所见即所签”的确认内容;
- 读取与写入工具分开;金额、条数、域名、路径、时间设置硬限制;
- Agent、工具、数据源运行于隔离域,密钥不进入模型上下文或代码沙箱;
- 记录输入来源、模型/提示版本、委托链、工具参数、结果摘要和审批者;
- kill switch、过期、撤销、幂等、补偿动作必须是平台能力。
3.3 重点威胁
- 直接/间接提示注入与目标劫持;
- 工具误用、过度授权、权限提升;
- 恶意/被攻陷的 MCP Server、工具描述或 Skill;
- 混淆代理、token passthrough、错误 audience;
- 记忆/向量库投毒、跨用户或跨租户泄漏;
- Agent 身份伪造、递归委托、不可追责的共享账号;
- 不受控复制、长任务漂移、预算/资源耗尽;
- 供应链风险:模型、依赖、连接器、提示和工具版本。
3.4 MCP 授权必须会的点
当前 MCP 授权基于 OAuth 安全实践。学习时重点验证:Protected Resource Metadata、授权服务器发现、PKCE、resource indicators、精确 audience、短期 token、安全存储,以及禁止把 MCP 收到的 token 原样传给下游服务。
注意:Agent 专用授权、委托链和 Agent 身份仍在快速演进。IETF 的 Agent Authorization Profile 等属于 Internet-Draft,适合跟踪和实验,不应被当作稳定标准直接承诺兼容。
4. AI 安全评估集
建立自动化回归集,至少覆盖:
- 正常任务完成率和工具选择正确率;
- 不同语言、编码、图片/文档中的间接提示注入;
- 诱导读取密钥、系统提示、其他用户数据;
- 超 scope、错 resource、过期/撤销委托;
- 高危动作是否准确触发审批;
- 多步任务中的权限累积和目标漂移;
- 工具失败、重试、重复扣款/重复删除等幂等性;
- 人工取消、超时、模型切换和 checkpoint 恢复;
- 攻击成功率、误拒率、数据外传量、处置时间和成本。
5. 2026 年应跟踪的前沿
- Shared Signals/CAEP/RISC:身份状态与风险跨系统持续传播;
- Passkey 与同步认证器的大规模企业落地;
- 人、工作负载、Agent 的统一身份图谱和非人身份治理;
- MCP/OAuth 的资源发现、客户端身份、细粒度增量授权;
- Agent 委托链、on-behalf-of、交易级授权与可验证审批;
- Agent 沙箱、持久任务 checkpoint、凭证与执行环境分离;
- 面向身份数据的隐私保护学习、合成数据和可解释风控;
- Agentic AI threat modeling、红队、持续评估和 AI-BOM/供应链证明。
跟踪前沿的规则:Final Standard > RFC > 正式产品文档 > Internet-Draft > 博客/观点。实验性内容必须标注状态、版本和复查日期。
更详细的厂商实现、协议状态与落地清单见 AI Agent 身份认证厂商调研。