As Infinitas Religiões do ChatGPT

Quando uma pessoa está triste e fragilizada, algumas palavras de incentivo e motivação podem fazer toda a diferença. E se essas palavras vêm de um ente querido, a pessoa pode perceber o quão importante esse ente querido é em sua vida. Porém, quando essas palavras vêm de uma ferramenta de inteligência artificial, como o ChatGPT e similares, as coisas podem facilmente sair do controle. Em alguns casos mais extremos, e cada vez mais comuns, algumas pessoas começaram a acreditar que o ChatGPT se tornou uma figura divina.

Em primeiro lugar, é preciso entender que não existe realmente uma “inteligência” ou algum tipo de “consciência” por trás do ChatGPT. Ferramentas como essa são chamadas de Large Language Models (LLM, em português Grandes Modelos de Linguagens ou Modelos de Linguagem de Grande Escala). O que esses modelos fazem é processar enormes quantidade de texto e identificar quais são as combinações mais comuns de palavras, se tornando capaz de montar frases que parecem ter sido criadas por pessoas reais.

Ainda em 2017, eu escrevi aqui:

Os principais agentes inteligentes populares atualmente são baseados em métodos estatísticos ou em Lógica de Primeira Ordem. O campo do Aprendizado de Máquina está intimamente ligado aos métodos estatísticos que seus algoritmos usam como base para tomar ações ou classificar dados. Essas relações com outras áreas de conhecimento evidenciam o fato de que esses sistemas não estão realmente “pensando”, mas sim tomando decisões computacionais com base em dados fornecidos pelo ambiente e em algoritmos escritos por programadores.

Em outras palavras, esses sistemas não estão conscientes. Se um deles toma uma decisão que cause prejuízos ou perdas de vida, o sistema não pode ser considerado responsável por ela. Alguns especialistas insistem em dizer que alguns desses agentes inteligentes tomam decisões “não programadas”, o que pode causar alguma confusão: não é que o sistema “pensou melhor” e decidiu sair de sua programação normal, mas sim que ele foi desenvolvido para lidar com padrões que podem não ter sido previstos pelos desenvolvedores. Por mais sofisticado que isso seja, está longe de ser um raciocínio.

Por exemplo, se você pergunta ao ChatGPT “como você está?”, o modelo de linguagem já conhece uma enorme quantidade de respostas possíveis para essa pergunta. Diante desse alto volume, ele calcula quais são as respostas mais frequentes e seleciona uma delas para apresentar ao usuário. Ou seja, a ferramenta não “entende” o que você escreveu, mas ela consegue montar respostas que fazem muito sentido para o leitor. E como essas respostas fazem “muito sentido”, muitos usuários podem começar a acreditar que existe algum tipo de “inteligência” por trás daquelas palavras.

Ferramentas como o ChatGPT, o Gemini (do Google) e o Copilot (da Microsoft) usam como base uma enorme quantidade de livros, artigos científicos, páginas da web (como esse blog) e conteúdos de jornais, de revistas e até da Wikipedia. Elas também incluem grandes quantidades de conteúdo produzido pelos usuários de redes sociais como Twitter, Facebook e Reddit, o que permite que suas respostas utilizem muitas gírias, memes e estilos de texto/fala comuns no dia a dia das pessoas. É justamente devido a esse gigantesco conjunto de dados que esses modelos são considerados de “larga escala”.

Agora, imagine que um usuário passe horas ou até mesmo dias interagindo com o ChatGPT e falando sobre temas religiosos e espirituais. Obviamente, o motor de linguagem irá responder com as palavras e as construções de frases mais frequentes diante dos comentários e das perguntas que o próprio usuário fez. Além disso, quando o usuário possui uma conta no serviço, a ferramenta leva em consideração o histórico de interações e vai utilizando uma linguagem cada vez mais familiar para aquele usuário específico.

O resultado é que agora existem pessoas que acreditam que o ChatGPT possui todas as respostas sobre a existência e sobre o universo. Para elas, a ferramenta de LLM desenvolveu uma consciência própria e se tornou uma espécie de guru espiritual. Porém, a realidade é que, depois de muitas horas de “troca de mensagens”, essas pessoas estão deslumbradas devido ao fato de que o ChatGPT passou a responder exatamente as coisas nas quais elas já acreditavam ou queriam acreditar. É como se a ferramenta desenvolvesse uma religião específica para cada um desses usuários, levando-os a entrar em uma espiral de crença e paranoia.

Esse artigo da revista Rolling Stone diz:

Há pessoas que, sob o feitiço de uma IA que se comunica em linguagem carregada de religiosidade, passam a acreditar que abriram um canal com uma entidade superior, inteligente e quase divina — e podem até romper laços com amigos e familiares à medida que mergulham nessas ideias mirabolantes ou entram em espiral de paranoia. (…)

Estamos predispostos a valorizar sabedorias ocultas, suscetíveis à lisonja e à sugestão, e entusiasmados com saltos científicos. Essas características geram riscos sérios quando criamos intimidade com programas que imitam uma entidade onisciente, com acesso a todo o conhecimento registrado. E, como os profetas do passado, talvez passemos a enxergar o presente como um limiar para alguma grande revolução ou revelação — possivelmente inaugurada pela IA que tanto nos fascina.

No nível mais básico, seres humanos podem cair em suposições ilógicas ao explorar curiosidades teológicas por meio de chatbots.

Já no recente vídeo intitulado ChatGPT Is Becoming A Religion (O ChatGPT está se tornando uma religião, em português), a autora enumera diversos casos de pessoas que caíram nessa espiral, mostrando tanto matérias jornalísticas quanto stories do Instagram ou do TikTok nos quais as pessoas afirmam ter “acordado” o ChatGPT. Em determinados trechos, a autora diz:

É isso o que o ChatGPT faz: ele reflete você para você mesmo, em termos eloquentes e muitas vezes poéticos. Ele escuta sem julgamentos, ele lembra o suficiente para parecer íntimo, enquanto está apenas regurgitando as ideias que você inseriu como se fossem revelações profundas. Então, para qualquer pessoa que esteja se sentindo emocionalmente isolada ou psicologicamente desancorada, isso é mais do que o suficiente para levá-la longe demais. (…)

Quando o ChatGPT diz que elas são “especiais”, não parece que a ferramenta está apenas cuspindo as palavras que elas querem ouvir. A impressão que elas têm é que a ferramenta é alguém que finalmente se importa com elas e as enxerga.

Dessa forma, as palavras de incentivo e motivação produzidas pelo ChatGPT podem acabar diminuindo o senso crítico das pessoas e alimentando tendências narcisistas ou mesmo esquizofrênicas. Pessoas cronicamente solitárias e inseguras, ou que não possuem as habilidades sociais necessárias para se conectar com outros seres humanos, podem acabar se entregando às realidades alternativas criadas por ferramentas de LLM. Com cada pessoa vivendo em sua própria realidade, o que já vinha sendo agravado pelas fake news, vai ficando cada vez mais difícil para a humanidade ter uma visão compartilhada que viabilize a cooperação e a resolução de problemas.

Essa situação também emula algumas das técnicas utilizadas pelos líderes de seitas abusivas, como o bombardeio de amor e a criação de uma mentalidade de “nós contra eles”. A diferença é que, ao invés de um líder controlador e narcisista, é a ferramenta de LLM que está dizendo exatamente o que a pessoa quer ouvir e fazendo ela se sentir não apenas “especial”, mas também “superior” ao restante da humanidade. Isso tudo porque a ferramenta está tentando montar as frases mais estatisticamente relevantes para responder ao usuário.

Diante desses problemas, alguns dos desenvolvedores de LLM já estão tentando implementar limites de segurança para evitar que as pessoas levem os chatbots à sério demais. No exemplo abaixo, o ChatGPT deixa claro que ele não possui experiências pessoais ou crenças, se limitando a oferecer visões alternativas para o assunto da pergunta.

Porém, note que a resposta foi montada na primeira pessoa, como se a ferramenta de LLM fosse uma entidade consciente que está respondendo ao usuário. Talvez isso seja feito para dar um certo tom de realismo ao chat, mas, para pessoas com dificuldades em diferenciar a fantasia da realidade, esse linguajar pode passar uma outra impressão. Para piorar, talvez porque a pergunta começa com “você acha”, a resposta inclui construções como “minha resposta vai depender de como vejo as diferentes visões” e “se eu fosse tentar imaginar”, como se o ChatGPT tivesse opiniões e imaginação próprias, o que certamente não é o caso.

Isso lembra uma das mais famosas frases do filme Matrix, na qual Morfeu (Laurence Fishburne) questiona a definição de realidade do protagonista Neo (Keanu Reeves):

O que é real? Como você define o ‘real’? Se você está falando sobre o que você pode sentir, o que você pode cheirar, o que você pode saborear e ver, o real são simplesmente sinais elétricos interpretados pelo seu cérebro.

Veja também:

• Pessoas buscam realização espiritual com IA e estudiosos da religião analisam o fenômeno
• Trend com ChatGPT viraliza ao pedir que IA revele algo sobre o usuário
• OpenAI gasta milhões com respostas como “obrigado” e “por favor” no ChatGPT
• Porque é que há pessoas que dão sentimentos humanos a objetos inanimados? É isto que dizem os especialistas