内容安全与数据处理
AI Gateway 可以对模型输 入与输出执行内容检测。企业版可通过敏感词检测链、可选的 LLM 内容安全守卫,以及插件接入的安全扫描服务,配置适合业务场景的审核方式。
内容检测方式
| 方式 | 作用 |
|---|---|
| 流式检测 | 在流式输出过程中执行检测 |
| 非流式检测 | 检查完整请求或响应 |
| 提示词注入检测 | 在请求进入模型前,自动识别越狱、指令覆盖与注入攻击 |
| 敏感信息检查 | 全链路过滤请求、响应与日志中的密钥凭据和敏感数据 |
| 可信请求例外 | 部署支持时,对明确配置的可信请求跳过检测 |
提示词注入检测(Prompt Injection Detection)
为防范大模型越狱攻击与恶意指令篡改,AI Gateway 原生集成了提示词注入检测机制:
- 恶意越狱拦截:自动识别试图突破安全围栏的“角色扮演”、“假设情境”或对抗性越狱提示词。
- 系统指令保护:防止用户输入试图覆盖系统预设 System Prompt 或篡改智能体基准行为规范(Instruction Override)。
- 拦截与反馈:检测到高危提示词注入后,网关在接入层直接阻断请求下发至上游 模型,返回符合标准的安全合规阻断响应,避免无谓的算力与 Token 浪费。
敏感信息检查与防泄漏(Sensitive Data Protection)
AI Gateway 提供贯穿调用生命周期的敏感信息检查机制,全面防止数据资产泄露:
- 凭据与私密数据过滤:自动识别 API Key、JWT Token、数据库密码、私钥等高敏感凭据,以及手机号、身份证号、银行卡号等隐私数据。
- 双向阻断与脱敏:
- 输入方向:在请求发送给外部或第三方模型服务前执行合规扫描,防止企业内部敏感数据出境或外流;
- 输出方向:防止模型幻觉或记忆还原意外吐出敏感代码或机密。
- 审计日志脱敏:网关在记录请求日志、OpenTelemetry Trace 及审计轨迹时,自动剔除敏感凭证与高危字段,确保系统日志完全符合企业合规审计要求。
插件扩展与第三方安全扫描
AI Gateway 支持以插件(Plugin)的方式接入安全扫描服务。企业可根据业务需求选择安全扫描服务,并通过插件与网关集成。
对于其他第三方安全扫描服务,支持通过定制化插件完成对接,复用企业已有的安全扫描能力。具体接入方式和配置参数请参阅所使用插件的说明。
配置内容检测
在 Kubernetes Helm 部署中,网关级内容检测通过部署配置中的 aigateway.moderation 配置。需要使用 LLM 内容安全守卫时,还需配置 aigateway.moderation.llm,连接相应的审核模型服务。
| 配置项 | 作用 |
|---|---|
aigateway.moderation.enabled | 启用或关闭网关级内容检测 |
aigateway.moderation.checkChain | 配置检测链 |
aigateway.moderation.streamCheckMode | 配置流式检测模式 |
aigateway.moderation.llm.enabled | 启用或关闭可选的 LLM 内容安全守卫 |
aigateway.moderation.llm.endpoint / apiKey | 配置审核模型服务的地址与访问凭据 |
aigateway.moderation.llm.guard.model / guardStream.model | 配置普通与流式审核模型 |
完整配置、默认值及部署方式见 Kubernetes 配置指南中的 Moderation 说明。使用平台敏感词库时,先在资产管理中维护规则,再配置网关的检测开关与检测链。
配置完成后,分别检查正常输入、命中规则的输入以及流式和非流式响应。使用流式检测时,应用需处理检测失败或流中断事件,并妥善展示此前已接收的内容。
检测例外与模型权限
检测例外用于指定跳过内容检测的请求来源和适用范围。配置后,检查例外范围内外的请求是否按预期执行检测;模型调用权限仍按服务的访问规则校验。
身份与访问权限说明谁能调用服务;本页说明调用内容如何处理。两者是不同的控制环节。
请求正文与日志
网关的请求记录可包含 Prompt、工具调用及流式输出,用于排障、审计或后续分析。使用日志时需要明确部署中的收集范围、存储位置、访问权限与保留规则;这些规则由实际配置和企业数据要求共同决定。
将调用记录用于微调或再训练前,按企业的数据管理流程完成授权确认,并选择符合使用范围的数据。
自建与外部模型的数据去向
请求内容会发送到路由选中的上游模型服务。需要将数据保留在企业内部时,请同时检查主用和备用上游,选择符合企业数据要求的服务。