内容安全与数据处理
AI Gateway 可以对模型输 入与输出执行内容检测。企业版可通过敏感词检测链、可选的 LLM 内容安全守卫,以及插件接入的安全扫描服务,配置适合业务场景的审核方式。
内容检测方式
| 方式 | 作用 |
|---|---|
| 流式检测 | 在流式输出过程中执行检测 |
| 非流式检测 | 检查完整请求或响应 |
| 可信请求例外 | 部署支持时,对明确配置的可信请求跳过检测 |
插件扩展与第三方安全扫描
AI Gateway 支持以插件(Plugin)的方式接入安全扫描服务。企业可根据业务需求选择安全扫描服务,并通过插件与网关集成。
对于其他第三方安全扫描服务,支持通过定制化插件完成对接,复用企业已有的安全扫描能力。具体接入方式和配置参数请参阅所使用插件的说明。
配置内容检测
在 Kubernetes Helm 部署中,网关级内容检测通过部署配置中的 aigateway.moderation 配置。需要使用 LLM 内容安全守卫时,还需配置 aigateway.moderation.llm,连接相应的审核模型服务。
| 配置项 | 作用 |
|---|---|
aigateway.moderation.enabled | 启用或关闭网关级内容检测 |
aigateway.moderation.checkChain | 配置检测链 |
aigateway.moderation.streamCheckMode | 配置流式检测模式 |
aigateway.moderation.llm.enabled | 启用或关闭可选的 LLM 内容安全守卫 |
aigateway.moderation.llm.endpoint / apiKey | 配置审核模型服务的地址与访问凭据 |
aigateway.moderation.llm.guard.model / guardStream.model | 配置普通与流式审核模型 |
完整配置、默认值及部署方式见 Kubernetes 配置指南中的 Moderation 说明。使用平台敏感词库时,先在资产管理中维护规则,再配置网关的检测开关与检测链。
配置完成后,分别检查正常输入、命中规则的输入以及流式和非流式响应。使用流式检测时,应用需处理检测失败或流中断事件,并妥善展示此前已接收的内容。
检测例外与模型权限
检测例外用于指定跳过内容检测的请求来源和适用范围。配置后,检查例外范围内外的请求是否按预期执行检测;模型调用权限仍按服务的访问规则校验。
身份与访问权限说明谁能调用服务;本页说明调用内容如何处理。两者是不同的控制环节。
请求正文与日志
网关的请求记录可包含 Prompt、工具调用及流式输出,用于排障、审计或后续分析。使用日志时需要明确部署中的收集范围、存储位置、访问权限与保留规则;这些规则由实际配置和企业数据要求共同决定。
将调用记录用于微调或再训练前,按企业的数据管理流程完成授权确认,并选择符合使用范围的数据。
自建与外部模型的数据去向
请求内容会发送到路由选中的上游模型服务。需要将数据保留在企业内部时,请同时检查主用和备用上游,选择符合企业数据要求的服务。