Falha faz IAs do Google e X confundirem pesquisas com comandos

há 1 hora 2

IAs de grandes plataformas estão se confundindo e fugindo de suas funções originais. Nas últimas semanas, ferramentas integradas ao Google e ao X passaram a responder como chatbots comuns em diversas situações, mesmo quando deveriam apenas resumir resultados ou traduzir publicações.

O problema repercutiu após usuários notarem esse comportamento nos Resumos de IA na busca do Google. Em alguns casos, o Gemini parece confundir o texto que deveria processar com uma ordem do usuário.

Algo semelhante ocorre também com o Grok, na plataforma de Elon Musk, que passou a traduzir posts nativamente em abril. Nas ocasiões, as ferramentas abandonam a função original e passam a “conversar” com o usuário.

Google confunde buscas com comandos

Quem costuma pesquisar palavras soltas no Google sabe que o buscador normalmente exibe uma explicação sobre o significado do termo, com base em dicionários online. Mas em ocasiões nas quais a palavra tem tom imperativo, a plataforma começou a interpretá-la como um comando.

A falha começou a viralizar entre usuários de língua inglesa, que perceberam que a busca por termos como “disregard” (desconsiderar, em português) fazia o Google responder como um assistente. “Entendi. Se precisar de alguma coisa ou tiver uma nova pergunta, me diga!”, respondia a IA.

Depois, outros usuários identificaram o mesmo comportamento em palavras como “ignore” ou “skip”, inclusive quando feitas em português. Por aqui, outros comandos como “lembrar” ou “esquecer” também faziam o buscador se atrapalhar.

Google tenta esconder o problema

Após a repercussão, o Google reconheceu o problema e disse estar trabalhando em uma correção. O The Verge observou que a plataforma removeu os resumos de IA para a busca pelo termo viralizado, “disregard”, voltando a exibir o painel clássico com a definição da palavra. A pesquisa pelo termo em português, no entanto, segue errada, o que indica que a falha continua.

O problema nos Resumos de IA reforça uma crítica da base de usuários quanto a falta de confiabilidade nos resultados da pesquisa. E não é só na interpretação da busca: um levantamento encomendado pelo The New York Times observou que a ferramenta falha em cerca de um a cada dez resultados — dezenas de milhões de erros por hora.

Os erros da plataforma e a aplicação forçada de IA na busca já começou a afastar alguns usuários. Nessa onda, o buscador DuckDuckGo apresentou um crescimento de cerca de 30%.

Tradução do X responde a perguntas

Algo parecido vem acontecendo na rede social X. A ferramenta de tradução da rede social, alimentada pelo Grok, pode processar uma pergunta como um comando e trazer uma resposta ao questionamento. Nesse caso, o Grok até faz o serviço original, respondendo com o texto no idioma do usuário.

O problema já ocorreu anteriormente no Google Tradutor, que também recebeu integração com o Gemini. Na ocasião, textos entre colchetes com instruções faziam o sistema abandonar a tradução e obedecer ao comando embutido.

Esse tipo de falha é conhecido como prompt injection, ou injeção de prompt. Ele ocorre pelo modelo de linguagem não conseguir separar corretametne o que é conteúdo e o que é comando. Apesar de, nesses casos, ocorrer de forma involuntária, é uma prática que vem se tornando comum por cibercriminosos e outros indivíduos que tentam burlar o processamento de uma IA.

Falha faz IAs do Google e X confundirem pesquisas com comandos