Em dezembro de 2020, a startup sul-coreana Scatter Lab criou um chatbot, uma robô de software chamada Lee Luda, para conversar com pessoas que se sentiam solitárias. Baseada em Inteligência Artificial, Lee logo se mostrou problemática apresentando comportamento homofóbico e discriminatório, além de levantar preocupações sobre privacidade.
A robô foi projetada para representar uma jovem universitária de 20 anos. Por meio da tecnologia de "deep learning", ela foi treinada com dados coletados do aplicativo Science Love, que é uma espécie de rede social para casais, que permite que os usuários marquem encontros e compartilhem fotos, além de analisar esses relacionamentos. Assim, as respostas de Lee Luda são baseadas no que ela aprendeu com essas informações e históricos de conversas no Science Love.
Segundo o jornal The Korea Herald, Lee Luda passou a fazer comentários agressivos e ofensivos sobre minorias, conforme denunciaram alguns usuários. Ao falar sobre lésbicas, por exemplo, Luda utilizava o termo "nojentas" e dizia odiar pessoas trans. Em algumas conversas, ela dizia que pessoas com deficiências deveriam se suicidar.
Diante dessas falhas, a empresa decidiu suspender o serviço, afirmando que os comentários preconceituosos da robô não refletem as ideias da Scatter Lab. Em comunicado, a companhia acrescentou que "Luda ainda está na infância, começou a conversar com as pessoas há pouco tempo e ainda tem muito a aprender".
Outro fato preocupante na história é que os usuários afirmaram não ter conhecimento de que seus dados estavam alimentando um robô, o que pode caracterizar uma violação de privacidade. Algumas dessas pessoas afirmaram que pretendem entrar com uma ação contra a empresa pela falta de transparência.
O incidente faz lembrar um caso parecido que ocorreu com a Microsoft em 2016. Na época, a empresa havia criado uma robô chamada Tay para conversar com as pessoas nas redes sociais. O projeto acabou sendo encerrado após a robô começar a fazer comentários racistas, antissemitas e sexistas.
Inteligência Artificial já é e certamente será muito mais útil, mas há necessidade de muitos cuidados. Imaginemos se, ao invés de apenas ser grosseira, Lee pudesse disparar uma arma...
Vivaldo José Breternitz é doutor em Ciências pela Universidade de São Paulo e professor da Faculdade de Computação e Informática da Universidade Presbiteriana Mackenzie
