A repercussão do caso envolvendo advogadas multadas por supostamente tentarem manipular uma Inteligência Artificial utilizada no TRT da 8ª Região colocou em evidência um tema ainda pouco discutido no Brasil, mas cada vez mais relevante no avanço da IA generativa em ambientes institucionais. Especialistas alertam que técnicas conhecidas como “prompt injection” já representam uma das principais vulnerabilidades de sistemas baseados em modelos generativos, especialmente em setores críticos como Judiciário, bancos, governos e grandes empresas.
Para Renato Asse, fundador do Instituto Brasileiro de Educação em Inteligência Artificial, o ibe.IA, o episódio revela um problema que vai muito além de uma tentativa isolada de manipulação. “O grande ponto não é apenas alguém tentar interferir na IA. O verdadeiro debate está na maturidade técnica das instituições para entender que modelos generativos são naturalmente suscetíveis à manipulação contextual. Tratar esses sistemas como ferramentas infalíveis em ambientes críticos é um erro perigoso”, afirma.
O chamado prompt injection acontece quando usuários inserem comandos estrategicamente elaborados para alterar o comportamento esperado da IA, fazendo com que o sistema ignore instruções anteriores, gere respostas indevidas ou execute ações fora do fluxo originalmente previsto. Embora o conceito ainda seja pouco conhecido fora do setor de tecnologia, especialistas em segurança de IA consideram esse tipo de vulnerabilidade um dos principais desafios da adoção acelerada de Inteligência Artificial em operações críticas.
O tema ganhou força globalmente à medida que empresas, tribunais e governos passaram a incorporar modelos generativos em atividades ligadas à análise documental, atendimento, automação de processos e apoio à tomada de decisão. Paralelamente, cresce o debate internacional sobre AI Security, área voltada justamente à proteção, governança e segurança operacional de sistemas de Inteligência Artificial.
Segundo Renato Asse, parte do problema surge porque muitas organizações adotam IA antes mesmo de compreender completamente os riscos envolvidos. “A IA generativa não funciona como um software tradicional, baseado apenas em regras fixas. Ela interpreta contexto, linguagem e intenção. Isso traz enorme potencial de produtividade, mas também cria superfícies inéditas de vulnerabilidade quando não existem protocolos adequados de segurança, validação e monitoramento”, explica.
O especialista observa que a popularização da engenharia de prompts também amplia a necessidade de educação técnica dentro das organizações. Originalmente utilizada para aumentar produtividade e melhorar interações com IA, a construção estratégica de prompts também pode ser usada para explorar brechas operacionais, induzir respostas inadequadas ou contornar restrições implementadas pelos sistemas.
Além do aspecto tecnológico, o caso também levanta discussões jurídicas e éticas sobre responsabilidade, rastreabilidade e limites da interação entre humanos e Inteligência Artificial em ambientes institucionais. Especialistas apontam que muitas empresas e órgãos públicos ainda não possuem protocolos suficientemente robustos para validar respostas geradas por IA, identificar tentativas de manipulação ou estabelecer níveis adequados de supervisão humana.
Na avaliação de Renato Asse, a tendência é que episódios semelhantes se tornem mais frequentes nos próximos anos, justamente porque a adoção da IA cresce mais rápido do que a maturidade das estruturas de segurança. “A discussão sobre Inteligência Artificial não pode ficar restrita à produtividade ou automação. Segurança, governança e compreensão técnica dos riscos precisam fazer parte da implementação desde o início. Quanto mais a IA entrar em ambientes críticos, mais essencial será entender que esses sistemas precisam ser supervisionados, auditados e protegidos continuamente”, conclui.
Imagem: https://pt.vecteezy.com/foto/72599273-computador-tela-exibindo-artificial-inteligencia-diagrama-dentro-sombrio-escritorio
