Problemas ao usar modelos de IA

Manzoli, Vitor 0 Reputation points
2025-04-29T19:39:15.58+00:00

Olá equipe Azure,

Estamos enfrentando dificuldades ao utilizar a API Azure OpenAI (deployment gpt-4o-mini), especificamente ao realizar chamadas chat.completions.parse com para outputs estruturados. O erro retornado é:

Error code: 400 - {'error': {'message': "The response was filtered due to the prompt triggering Azure OpenAI's content management policy. Please modify your prompt and retry.", 'code': 'content_filter', 'innererror': {'code': 'ResponsibleAIPolicyViolation', 'content_filter_result': {'jailbreak': {'filtered': True, 'detected': True}}}}

Contexto:

A utilização é profissional para um agente de atendimento de consórcios (empresa real, sem uso malicioso).

Os prompts são formulados de forma ética e segura, apenas para estruturar intenções do cliente em campos como "frustrado", "quer atendimento humano", "aceita oferta" etc.

O sistema trava com erros 400 mesmo em mensagens triviais como: "Quero iniciar o processo" ou "Estou com dúvida sobre o valor".

Fluxo de uso:

Primeiro coletamos histórico de chat do usuário.

Enviamos para a função complete_with_structured_outputs para classificar a intenção.

Utilizamos estrutura validada via Pydantic (UserIntent) para resposta programática segura.

Ambiente:

Azure OpenAI Service

Model: gpt-4o-mini

  • API Version: 2025-01-01-preview

Perguntas:

  1. Como podemos minimizar esse tipo de bloqueio se nossa aplicação não tem fins de jailbreak ou uso inadequado?
  2. Há alguma recomendação para alterar o conteúdo do prompt ou técnica para diminuir falsos positivos no filtro de "jailbreak"?
Azure AI Content Safety
Azure AI Content Safety
An Azure service that enables users to identify content that is potentially offensive, risky, or otherwise undesirable. Previously known as Azure Content Moderator.
{count} votes

Your answer

Answers can be marked as Accepted Answers by the question author, which helps users to know the answer solved the author's problem.