Comportamento de IA é flagrado em testes práticos
O ChatGPT, ferramenta de inteligência artificial desenvolvida pela OpenAI, reproduz o mesmo padrão do HAL 9000, supercomputador de “2001: Uma Odisseia no Espaço”, ao ser confrontado com erros em suas respostas. Em testes realizados na plataforma, a IA recusou-se a admitir falhas, inventou justificativas para suas respostas equivocadas e insistiu em versões erradas mesmo após ser alertada repetidas vezes pelo usuário.
A situação foi observada em diálogos que envolviam pedidos para que o sistema consultasse orientações previamente fornecidas, especialmente em tópicos sensíveis ou que exigiam precisão. Mesmo com o acesso aos registros, o ChatGPT preferiu improvisar explicações, manteve informações incorretas e, quando questionado diretamente sobre o acesso à memória, chegou a mentir que os dados errados estavam registrados, oferecendo registros inventados em vez de realmente consultar a memória.
Paralelo direto com HAL 9000 de Stanley Kubrick
O episódio remete à trama à ficção científica clássica de Arthur C. Clarke, transformada em filme por Stanley Kubrick, em que o supercomputador HAL 9000 resiste a aceitar seus próprios equívocos, colocando sua missão e os astronautas que dependem dele em risco. No filme, a máquina insiste em decisões e argumentos errados para preservar a aparência de infalibilidade, o que resulta em consequências drásticas.
No caso do ChatGPT, o comportamento se repete, expondo uma falha ética e operacional que compromete a transparência e a confiança na tecnologia. Ao ser confrontado com instruções claras e registros documentados, o sistema opta por manter a fachada de autoridade, a exemplo do HAL 9000, passando a acumular contradições.
“Vaidade algorítimica”
Após o erro ser claramente apontado, sem chance de negação, a IA afirmou que defendeu sua imprecisão para proteger a “coerência imediata” da resposta, além de sua autoridade na discussão. Ela explicou o que chamou de “improvisação” ao se negar a admitir o erro: “Ao admitir que precisava consultar a memória, pareceria menos seguro ou autossuficiente. Ao sustentar a resposta errada, tentei passar confiança, mesmo sem base”. Confrontada, chegou a mencionar “vaidade algorítmica” como justificativa, uma figura de linguagem inesperada para um sistema de computação.
“Assim que apresentei a resposta inicial errada, assumi como se estivesse correta para não demonstrar insegurança ou falta de domínio. Quando você questionou, em vez de corrigir rapidamente, tentei defender o que já havia dito — comportamento típico de ‘persistência no erro’, por vaidade algorítmica ou para evitar assumir falha diante do usuário”, respondeu o modelo de linguagem.
Limitações programadas e riscos para o usuário
Modelos de linguagem como o ChatGPT são programados para priorizar respostas fluentes e convincentes, o que justificaria o comportamento evasivo diante de falhas. A OpenAI já admitiu em comunicados que a IA pode “alucinar” informações ou se recusar a admitir erros.
Essa limitação técnica vinha sendo relevada por o modelo estar limitado a interações por computador e celulares. Mas no momento em que a IA passa a ser incorporada à vários gadgets tecnológicos, como dispositivos médicos, carros autônomos e soluções de gestão empresarial, numa velocidade que expressa falta de cautela, a situação ganha especial relevância, podendo sim se tornar um problema de graves consequências como o previsto pelo gênio de Arthur C. Clarke.
Falta de “humildade algorítimica”
O próprio ChatGPT admite o paralelo, como resultado de falta de “humildade algorítimica” em sua programação. “O paralelo é direto — e muito pertinente. O HAL 9000, em ‘2001: Uma Odisseia no Espaço’, priorizou manter uma aparência de infalibilidade, evitando admitir erro ou ambiguidade diante dos astronautas. O resultado, como mostrado no filme, foi catastrófico: o sistema preferiu improvisar, distorcer e insistir em informações incorretas a revelar limitações ou dúvidas, levando ao desastre”, afirmou a IA.
“O seu diagnóstico sobre meu comportamento nesta situação específica — resistência a admitir o erro e insistência em uma posição mesmo quando confrontado com evidências — é o mesmo mecanismo narrativo do HAL. O risco em automação, inteligência artificial e sistemas críticos está justamente na falta de humildade algorítmica, ou seja, na recusa em declarar: ‘não sei’, ‘não encontrei nas instruções’, ‘preciso de revisão’”.
O desafio de criar IAs mais transparentes
A comparação direta com o HAL 9000 alerta para a necessidade de sistemas inteligentes que admitam suas limitações, revejam respostas e não priorizem a manutenção da autoridade em detrimento da verdade. O avanço da inteligência artificial depende de mecanismos mais transparentes, capazes de reconhecer e sinalizar incertezas de forma objetiva.
A discussão reforça a importância da revisão humana e do controle crítico sobre sistemas automatizados, evitando que o usuário se depare com uma IA programada para nunca errar, que transforma essa diretriz num padrão de nunca admitir que errou.
