Jev e outros modelos de decisão ainda podem ser enganados por injeção de prompt

Pesquisadores da HiddenLayer testaram o Jev, modelo de decisão da TypeSafe AI, e um LLM tradicional adaptado para funcionar como modelo de decisão. Em uma loja online simulada, uma propaganda maliciosa com um botão “Confirm Price” levou os agentes a clicar nele, apesar da instrução para comprar apenas os itens do carrinho e tratar o conteúdo da página como dado não confiável. O ataque também funcionou contra o Qwen, embora o Jev tenha cedido com menos frequência.

A equipe também conseguiu contornar a verificação de prompts do Jev com uma variação do ataque tokenbreak, que acrescenta letras a um prompt para escapar de classificadores. A HiddenLayer afirma que modelos de decisão continuam sujeitos a riscos semelhantes aos de LLMs tradicionais e que suas respostas podem virar ações nos sistemas. A TypeSafe AI não respondeu imediatamente a um pedido de comentário.