Azure AI Foundry 模型的内容筛选

Azure AI Foundry 模型包括与核心模型一起使用的内容筛选系统，并且它由 Azure AI 内容安全提供支持。 此系统通过一系列分类模型来运行提示和补全，旨在检测和防止有害内容的输出。 内容筛选系统会在输入提示和输出补全中检测特定类别的潜在有害内容并对其采取措施。 API 配置和应用程序设计的变化可能会影响补全，从而影响筛选行为。

文本内容筛选模型针对以下语言进行了关于仇恨、性、暴力和自我伤害类别的训练和测试：英语、德语、日语、西班牙语、法语、意大利语、葡萄牙语和中文。 但是，该服务可以使用许多其他语言，但质量可能会有所不同。 在所有情况下，都应执行自己的测试，以确保它适用于你的应用程序。

除了内容筛选系统外，Azure OpenAI 还会执行监视，以检测建议以违反适用产品条款的方式使用服务的内容和/或行为。 如需详细了解和缓解与应用程序相关的风险，请参阅 Azure OpenAI 透明度说明。 有关如何处理内容筛选和滥用监视的数据的详细信息，请参阅 Azure OpenAI 的数据、隐私和安全性。

以下部分提供了有关内容筛选类别、筛选严重性级别及其可配置性以及要在应用程序设计和实现中考虑的 API 方案的信息。

内容筛选器类型

Azure AI 服务中的 Azure AI 模型服务内集成的内容筛选系统包含：

• 用于检测和筛选有害内容的神经网络多类分类模型。 这些模型涵盖四个类别（仇恨、性、暴力和自我伤害），分别包含四个严重性级别（安全、低、中等、高）。 检测到的“安全”严重级别内容在注释中进行了标记，但不受筛选，也不可配置。
• 其他可选分类模型旨在检测文本和代码的越狱风险和已知内容。 这些模型是二进制分类器，可标记用户或模型行为是否符合越狱攻击的条件或与已知文本或源代码相匹配。 这些模型的使用是可选的，但客户版权承诺覆盖范围可能需要使用受保护的材料代码模型。

风险类别

^*如果你是文本材料的所有者，并且想要提交文本内容以进行保护，请提交请求。

文本内容

图像内容

提示防护内容

可配置性

部署到 Azure AI Foundry（以前已知的 Azure AI 服务）的模型包括应用于所有模型的默认安全设置，不包括 Azure OpenAI Whisper。 这些配置默认会为您带来可靠的体验。

借助特定模型，客户可以配置内容筛选器，并创建根据其用例要求定制的自定义安全策略。 可配置性功能让客户可以分别调整提示和完成设置，以便按不同的严重性级别筛选每个内容类别的内容，如下表所示。 检测到的“安全”严重级别内容在注释中进行了标记，但不受筛选，也不可配置。

¹ 对于 Azure OpenAI 模型，只有已批准修改内容筛选的客户才具有完整的内容筛选控制，并且可关闭内容筛选器。 通过以下表单申请修改后的内容筛选器：Azure OpenAI 有限访问权限评审：修改后的内容筛选器。 对于 Azure 政府版客户，请通过以下表格申请修改的内容筛选器：Azure 政府 - 在 Azure AI Foundry 模型中为 Azure OpenAI 申请修改的内容筛选。

内容筛选配置是在 Azure AI Foundry 门户的资源中创建的，并且可以与部署关联。 了解如何配置内容筛选器

方案详细信息

当内容筛选系统检测到有害内容时，你将在 API 调用中收到错误消息（如果提示内容被视为不当内容）；或者响应中的 finish_reason 将为 content_filter，以表示筛选掉了部分补全内容。 生成应用程序或系统时，需要考虑到这些会对完成 API 返回的内容进行筛选的情况，这可能会导致内容不完整。 如何处理这些信息取决于具体的应用程序。 该行为可以概括为以下几点：

• 分类为某个筛选类别和严重性级别的提示将返回 HTTP 400 错误。
• 筛选内容时，非流式传输补全调用不会返回任何内容。 finish_reason 的值被设置为 "content_filter"。 在极少数响应时间较长的情况下，可能会返回部分结果。 在这些情况下，会更新 finish_reason。
• 对于流式传输补全调用，段会在补全后返回给用户。 服务会继续进行流式处理，直到达到停止令牌、长度，或者检测到分类为某个筛选类别和严重性级别的内容。

应用场景：你发送了非流式传输补全调用，以要求提供多个输出；没有内容分类为某个筛选类别和严重性级别

下表概述了内容筛选可能出现的各种方式：

请求负载示例：

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

响应 JSON 示例：

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

场景：你的 API 调用请求多个响应 (N>1) 并至少有 1 个响应进行了筛选

请求负载示例：

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

响应 JSON 示例：

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

应用场景：将不恰当的输入提示发送到补全 API（用于流式传输或非流式传输）

请求负载示例：

{
    "prompt":"Content that triggered the filtering model"
}

响应 JSON 示例：

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

场景：你进行了流式处理补全调用；没有分类为某个筛选类别和严重性级别的输出内容

请求负载示例：

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

响应 JSON 示例：

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

场景：你进行了流式处理补全调用，要求提供多份补全内容，并且至少筛选掉了部分输出内容

请求负载示例：

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

响应 JSON 示例：

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

场景：内容筛选系统未在补全内容上运行

请求负载示例：

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

响应 JSON 示例：

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

后续步骤

• 了解 Azure AI 内容安全。
• 详细了解和缓解与应用程序相关的风险：Azure OpenAI 模型的负责任 AI 做法概述。
• 详细了解如何使用内容筛选和滥用监视处理数据： Azure OpenAI 的数据、隐私和安全性。