Human Above the Loop: por que o humano precisa continuar no comando

Uma camiseta criada especificamente para confundir sistemas de visão computacional utiliza determinados padrões impressos para confundir o algoritmo de que o que está sendo captado não é uma pessoa.

A ausência de uma capacidade crítica de arrazoar que é uma pessoa sendo captada — algo que para nós humanos é natural — liga o alerta que IAs, mesmo sofisticadas, irão seguir sua programação independente do contexto e potencialmente entregar falhas.

Num outro exemplo, a CNN publicou uma matéria de que um relatório de inteligência militar gerado com o auxílio de inteligência artificial quase levou os Estados Unidos a interceptarem um navio chinês no Oriente Médio após a IA indicar erroneamente que a embarcação transportava peças ligadas a armamento nuclear.

Por pouco, a avaliação incorreta não resultou numa grave crise geopolítica e risco de confronto direto.

Os números que incomodam

Segundo o AutomationBench, benchmark da Zapier que avalia a execução ponta a ponta de workflows reais entre sistemas, o melhor modelo avaliado — GPT-6 Astra da OpenAI — concluiu corretamente 41,4% das tarefas. Na prática, isso significa que 58,6% das automações ainda falharam ou não chegaram ao estado final esperado.

A maior parte dos profissionais com quem falo tem uma tendência a questionar esse número ou ao menos não consegue percebê-lo no dia a dia. Isso se deve ao fato de serem excelentes profissionais e corrigirem os erros gerados como se fossem pequenas coisas.

Mas à medida que profissionais menos experientes ou sem conhecimento do assunto passam a substituir esses profissionais, temos pequenos erros se acumulando sem correção.

Similar ao que Frank Herbert escreveu em Duna, décadas antes de tudo isso: “Once men turned their thinking over to machines in the hope that this would set them free. But that only permitted other men with machines to enslave them.”

A frase não é um alerta contra a tecnologia. É um alerta contra a abdicação do pensamento.

Se o modelo recomendou, deve estar certo

Cada vez mais, modelos participam de decisões sobre qual cliente abordar, qual produto recomendar, qual risco priorizar, qual conteúdo consumir ou até qual informação chega até nós.

Modelos de recomendação já influenciam boa parte do que vemos. E, cada vez mais, influenciam também o que decidimos.

O que começo a observar — e que me preocupa mais do que qualquer erro pontual de algoritmo — é uma mudança sutil no comportamento de profissionais: uma dificuldade crescente de discordar da IA.

Se o modelo recomendou, deve estar certo.

O problema não é a IA eventualmente errar. Modelos erram, e isso é esperado e gerenciável. O problema é termos pessoas progressivamente menos preparadas para perceber quando ela está errada e menos dispostas a questionar mesmo quando percebem.

O risco que não aparece no dashboard

Trabalho entregando modelos com resultados relevantes há mais de uma década. Não estou questionando o uso da IA. Estou argumentando justamente o contrário.

Quanto mais poderosos e onipresentes esses modelos se tornam, mais o julgamento humano sobre eles importa. A camiseta que confunde o sistema de visão computacional é uma demonstração técnica de algo que vale generalizar: sistemas sofisticados podem ser enganados de formas que humanos identificariam imediatamente, se estivessem prestando atenção.

O risco real não é tecnológico. É comportamental.

É a organização que, ao longo do tempo, transfere não apenas a execução de tarefas para a IA, mas também o pensamento sobre essas tarefas. E aí o que se perde não é eficiência, e sim a capacidade de discernimento que deveria estar supervisando o sistema inteiro.

Afinal, qual o modelo proposto?

O modelo operativo proposto para empresas nunca foi deixar os modelos rodarem sozinhos, mas sim escolher entre duas abordagens.

Human-in-the-loop (HITL) significa que o humano aprova cada ação antes que o sistema de inteligência artificial a execute.

Human-above-the-loop significa que a IA opera de forma autônoma e o humano supervisiona o processo global, intervindo apenas em exceções ou anomalias.

A escolha entre os dois modelos não é técnica. É estratégica e precisa ser consciente, explícita e calibrada ao risco de cada decisão.

O que cabe a nós, como executivos

Incentivar pensamento crítico sempre foi parte da liderança. Mas nunca foi tão necessário quanto agora, justamente porque nunca foi tão fácil deixar de exercê-lo.

Quando uma recomendação vem acompanhada de dados, de um modelo sofisticado e de uma interface bem desenhada, o custo psicológico de discordar aumenta. Questionar parece desnecessário. Às vezes parece até arrogância.

É exatamente aí que precisamos criar espaço — nas reuniões, nas revisões, nas conversas com os times — para a pergunta que o modelo não faz: isso faz sentido?

Não como ritual burocrático. Como hábito genuíno de quem entende que a qualidade de uma decisão depende da qualidade do julgamento humano sobre o sistema que a informou.

Talvez valha a pena não entregar o pensamento junto com a tarefa.