NVIDIA NeMo Guardrails salvará bots de IA de alucinações e desvios de um determinado tópico

A NVIDIA revelou uma solução NeMo Guardrails de código aberto projetada para proteger aplicativos de IA, impedindo que bots de IA façam as chamadas alucinações (declarações falsas), discutam tópicos tabus, falem linguagem tóxica e executem ações indesejadas.

O NVIDIA NeMo Guardrails foi projetado para funcionar com todos os modelos de linguagem grande (LLMs), como o ChatGPT da OpenAI. A solução permite que os desenvolvedores personalizem aplicativos baseados em LLM para serem seguros e permanecerem dentro do domínio da empresa. O NeMo Guardrails atua como uma camada intermediária entre o usuário e o LLM ou outra ferramenta de IA e evita que resultados ou dicas incorretas sejam fornecidas.

Fonte da imagem: NVIDIA

O NeMo Guardrails permite que os desenvolvedores definam três tipos de bordas:

• Cercas de tópicos que impedem que os aplicativos se desloquem para áreas indesejadas, mantendo a conversa no tópico. Por exemplo, impedir que bots de atendimento ao cliente projetados para responder a perguntas sobre produtos respondam a perguntas sobre o clima.
• Cercas de segurança que garantem que o LLM não divulgue desinformação ou cause reação. Você pode filtrar expressões indesejadas e garantir que apenas fontes confiáveis ​​sejam vinculadas.
• Cercas de segurança impedem a execução de código malicioso LLM e garantem que o bot se comunique com aplicativos de terceiros apenas da lista permitida. Como a empresa enfatizou, tais medidas “ajudam a fornecer um modelo de segurança robusto e reduzem o risco de ataques baseados em LLM à medida que são detectados”.

A NVIDIA incorporou o NeMo Guardrails na plataforma NVIDIA NeMo, fornecendo as ferramentas necessárias para treinar e ajustar modelos de linguagem usando os dados da própria empresa. Grande parte do kit de ferramentas NeMo já está disponível no GitHub. As empresas também podem obtê-lo como um pacote completo e compatível incluído na NVIDIA AI Enterprise Platform.