A ilusão do token barato. Por que a conta da IA explode na produção?

Uma das maiores surpresas de quem coloca IA generativa em produção não costuma ser a qualidade das respostas. É a fatura.

Boa parte das organizações ainda trata o custo de um LLM como se fosse o licenciamento de um software SaaS — um valor relativamente previsível por usuário ou por mês. Na prática, a lógica é completamente diferente. A cobrança é baseada em tokens processados: os que entram no modelo — prompts, instruções do sistema, histórico da conversa, contexto recuperado por RAG — e os que são gerados como resposta. Se um agente realiza várias chamadas ao modelo para concluir uma única tarefa, cada inferência representa um novo consumo.

O problema é que esse consumo cresce de forma pouco intuitiva.

O que acontece nos bastidores

Imagine um usuário fazendo uma única pergunta. Nos bastidores, o agente pode consultar um índice vetorial, recuperar diversos documentos, chamar APIs externas, acessar memória, solicitar ajuda a outros agentes, executar várias inferências intermediárias — e só então produzir a resposta que o usuário vê. Uma interação percebida. Dez ou vinte chamadas ao modelo realizadas.

Em arquiteturas multiagentes, esse efeito se intensifica ainda mais. Um agente especializado consulta outro, que consulta um terceiro, que reescreve a resposta antes de devolvê-la ao ponto de partida. Cada etapa consome novos tokens. Sem observabilidade adequada, ninguém percebe onde o custo está sendo realmente gerado.

Há ainda um fator menos óbvio: o tamanho do contexto. Muitas equipes acreditam que enviar mais documentos ao modelo melhora automaticamente a qualidade das respostas. Nem sempre. Além de encarecer a execução, contexto excessivo pode reduzir a precisão — o modelo passa a lidar com informações irrelevantes ou conflitantes, fenômeno conhecido como *context dilution*. Mais informação não significa necessariamente mais qualidade.

Pequenas ineficiências, grandes consequências

Durante o desenvolvimento, o sistema é testado com poucas consultas em ambiente controlado. Em produção, centenas ou milhares de usuários fazem perguntas simultaneamente — muitas delas inesperadas. Pequenas ineficiências tornam-se multiplicadores de custo. Um fluxo que desperdiça alguns centavos por execução pode representar dezenas ou centenas de milhares de dólares ao longo de um ano.

O maior problema é que, na maioria das organizações, esse consumo continua sendo uma caixa-preta.

Poucas empresas conseguem responder perguntas relativamente simples: qual agente é responsável pela maior parte do consumo? Qual processo apresenta o pior custo-benefício? Quanto custa atender um cliente específico? O aumento da conta veio do crescimento da demanda ou de uma degradação da arquitetura? Quanto do custo decorre do modelo em si e quanto resulta de um contexto excessivo ou de chamadas desnecessárias?

Sem essas respostas, qualquer tentativa de otimização vira tentativa e erro.

AI FinOps: uma disciplina que começa a ganhar forma

É justamente por isso que começa a ganhar relevância o conceito de AI FinOps.

Assim como o FinOps surgiu para trazer governança sobre os gastos variáveis em computação em nuvem, a IA corporativa exige disciplina semelhante. Não basta saber quanto foi gasto no mês. É preciso entender por que aquele gasto ocorreu — e se o valor gerado justifica o consumo.

Isso implica monitorar o consumo por agente, por processo, por usuário e por unidade de negócio. Exige estabelecer orçamentos e alertas, criar indicadores de custo por tarefa executada e acompanhar continuamente a relação entre custo, qualidade e valor entregue.

Mas também exige repensar a arquitetura com mais rigor. Nem toda tarefa precisa passar por um LLM. Regras de negócio, consultas a bancos de dados, cálculos e validações determinísticas continuam sendo executados de forma muito mais rápida, barata e previsível por software tradicional. O modelo deve ser acionado apenas quando realmente agrega capacidade cognitiva — não por conveniência ou por ser o caminho de menor resistência na implementação.

Da mesma forma, vale adotar modelos diferentes conforme a complexidade da tarefa. Muitas organizações utilizam sistematicamente o modelo mais poderoso e mais caro, quando boa parte das solicitações poderia ser atendida por modelos menores, especializados ou locais — com redução significativa de custo e sem perda perceptível de qualidade.

E um bom mecanismo de recuperação de informação não é aquele que envia todos os documentos disponíveis ao modelo. É aquele que entrega apenas as evidências realmente relevantes para aquela consulta específica.

Agentes precisam ser observados como sistemas críticos

Por fim, há uma mudança de mentalidade necessária na forma como tratamos agentes de IA em produção.

Assim como monitoramos CPU, memória e latência em sistemas tradicionais, precisamos acompanhar métricas como consumo de tokens por execução, número de inferências por tarefa, taxa de sucesso, qualidade das respostas e impacto de alterações em prompts, modelos ou bases de conhecimento. Agentes que operam sem observabilidade não são sistemas de produção — são experimentos com custo de produção.

O maior problema raramente é o preço do token. É não compreender por que ele está sendo consumido.

Na IA corporativa, controlar custos deixou de significar apenas negociar contratos com fornecedores. Exige visibilidade sobre como agentes, modelos, contexto, ferramentas e processos interagem durante a execução de cada tarefa. O desafio não é consumir menos tokens. É garantir que cada token consumido gere valor real para o negócio.