Sua ferramenta de conversão com IA entrega um vencedor por semana. Veja como saber quais são reais.
Por Luis Gomes, Fundador e líder de crescimento
Você abre o painel numa sexta-feira e a ferramenta de conversão com IA tem boas notícias de novo. Mais um teste concluído. Mais um número verde ao lado: +9%, +14%, converte melhor. Ao longo de um trimestre a lista fica longa: uma dúzia de vencedores, quase todos já no ar, cada um registrado como ganho. Aí o financeiro puxa a taxa de conversão real do site inteiro nos mesmos três meses, e ela está parada. Não caiu, ficou parada. As vitórias estão todas no quadro, e nenhuma delas aparece no total.
Ninguém na sala está mentindo. A ferramenta rodou mesmo aqueles testes, e cada um cruzou mesmo a linha que ela foi instruída a observar. Mas uma pilha de vitórias reportadas e uma taxa de conversão que não se mexeu não podem ser verdade ao mesmo tempo, e é na diferença entre as duas que uma previsão erra sem ninguém notar. Este texto é para quem usa ou está avaliando uma ferramenta de conversão com IA: qualquer uma que "testa variações", "otimiza 24 horas por dia" ou entrega um vencedor com hora marcada. Ele explica por que mais testes podem aumentar a sua pilha de vitórias sem mexer no seu negócio. E mostra a verificação que diz quais dos seus vencedores são reais.
O argumento que este blog vem fazendo: o ganho vem da pesquisa, e não do ajuste automático. E depois que uma ferramenta roda, o número que ela devolve raramente quer dizer o que o slide diz. Esse último texto tratava de um único teste: como um ganho reportado fica contaminado quando a ferramenta move o tráfego no meio do teste. Este trata do que acontece em muitos testes, quando a velocidade é todo o argumento de venda.
Vencedores fantasmas
Velocidade é o que você está comprando. A promessa é que uma ferramenta de conversão AI-native roda mais experimentos do que a sua equipe jamais conseguiria: enquanto você dorme, em todas as páginas, sem parar. Essa parte é verdade. O problema é o que mais testes fazem com as probabilidades.
Rode um teste A/B com duas páginas idênticas de verdade e, por puro acaso, uma delas normalmente vai sair um pouco na frente. Rode vinte testes assim e você vai ter um punhado de "vencedores" que não passavam de ruído. Essa é a versão simples do que os estatísticos chamam de maldição do vencedor. Quando você escolhe a variante que parece melhor num lote grande, ela também é a que tem mais chance de ter tido sorte. E o ganho dela encolhe, ou some, assim que você olha de novo. Chutar mais a gol não encontra só mais vitórias reais. Fabrica mais vitórias falsas, e as duas parecem iguais no painel.
A velocidade dos testes tem um segundo multiplicador, mais discreto. A maioria das ferramentas acompanha o teste ao vivo e o encerra no instante em que ele parece significativo. É a prática que o pessoal de testes A/B chama de peeking: olhar o placar de novo e de novo e parar assim que ele cruza a linha. Parece eficiente, mas não é. Como escreveu Evan Miller no texto de referência que toda equipe de experimentação acaba lendo, "repetir testes de significância sempre aumenta a taxa de falsos positivos: você vai achar que muitos resultados não significativos são significativos." Uma ferramenta feita para encerrar testes rápido é uma ferramenta feita para espiar o placar o tempo todo. Quanto mais rápido ela entrega vencedores, maior a parte deles que nunca existiu.
Junte as duas coisas e o recurso principal da máquina trabalha contra o número principal dela. O que a torna valiosa (volume, velocidade, funcionamento contínuo) é o mesmo que infla a contagem de vitórias que você não consegue embolsar.
A conciliação dos ganhos
Este é o teste que resolve tudo isso, e ele toma uma tarde por trimestre. Some os ganhos que a ferramenta reportou num período: cada vencedor que ela colocou no ar, cada percentual que ela declarou. Depois veja quanto um grupo de controle rendeu de fato no mesmo período. O grupo de controle é uma fatia do tráfego que a ferramenta nunca tocou e que ficou na versão original o tempo todo. Compare os dois totais.
Se a otimização da ferramenta é real, o grupo de controle deveria estar visivelmente pior do que todo o resto. Essa diferença é o ganho verdadeiro, o que dá para embolsar. Se as vitórias somadas são quase todas fantasmas, os dois totais se encontram: uma lista longa de percentuais reportados de um lado e uma taxa de conversão que mal se mexeu do outro. A equipe de experimentação da Eppo descreveu isso com precisão. Somar as vitórias dos seus experimentos, eles escrevem, "costuma pintar um quadro otimista demais do efeito verdadeiro". E quando você mede contra um grupo de controle de verdade, "os ganhos revelados pelo grupo de controle são bem menos impressionantes do que a soma ingênua das 'vitórias' individuais."
A verificação é só essa. A pergunta não é "este teste foi válido", e sim as vitórias, somadas, batem com o número que o financeiro enxerga? Há um obstáculo que atinge justamente este público: muitas ferramentas que rodam o tempo todo não separam nenhum tráfego por padrão. Elas otimizam para todo mundo e não deixam nenhum grupo intocado para comparar. Se a sua é uma delas, montar um grupo de controle permanente é o passo zero. E é a coisa mais útil que você pode pedir ao fornecedor para ativar.
As páginas dos fornecedores
Nada disso está escondido. Só não está na página que mostram a você. Das sete páginas de fornecedores de CRO com IA que lemos enquanto escrevíamos este texto, seis abrem com um ganho: "aumente as conversões", um percentual de estudo de caso, um número num depoimento. Nenhuma delas confere essa vitória contra um grupo de controle ou contra o total do site em lugar nenhum da página. A página da Unbounce mostra o padrão da forma mais direta possível: ligue o otimizador, ela diz, e os profissionais de marketing conseguem "30% mais vendas e cadastros (em média)."
Leia essa frase pelo que ela é. É um ganho médio, apresentado como a recompensa, sem a contagem de testes por trás e sem o total ao lado. Isso não é mentira, e não é papel da Unbounce convencer um comprador a desconfiar do número. Toda ferramenta séria da categoria se vende do mesmo jeito, porque a vitória é o que vende, e a conciliação é dever de casa do comprador. Mas isso quer dizer que a superfície onde você avalia uma ferramenta foi desenhada para mostrar as vitórias e ficar calada sobre quantas tentativas as produziram. E essa é justamente a informação de que você precisaria para saber se elas são reais.
Duas proteções entre conciliações
A conciliação trimestral diz se o seu programa como um todo é real. Duas medidas menores protegem você entre uma conciliação e outra, e nenhuma delas substitui a conciliação.
Antes de embolsar um vencedor, rode de novo com a divisão congelada. Quando um resultado específico está prestes a entrar numa previsão ou a ir para todo o tráfego, volte com ele para uma divisão fixa e igual. Deixe assim por um período definido, com a otimização da ferramenta desligada, e veja se ele se sustenta. Essa é a disciplina da divisão congelada que o texto do Vol 6 apresentou para ler um teste único contaminado. Aqui ela faz um segundo trabalho: é o jeito mais barato de pegar um vencedor de sorte antes que ele vire um número que alguém defende numa reunião.
Faça uma pergunta ao fornecedor: de quantos testes saiu este vencedor? Uma vitória tirada de um lote de dois merece ser levada a sério. A mesma vitória tirada de um lote de quarenta é, na maior parte, a maldição do vencedor com um selo verde. As boas ferramentas respondem em uma frase e mostram o denominador. Se a resposta honesta for "não mostramos isso", você aprendeu algo mais útil do que o ganho: a ferramenta foi feita para declarar vencedores, e não para ajudar você a auditá-los.
O limite do otimizador
A ferramenta que roda cem testes por trimestre faz um trabalho real e, com volume suficiente, é a máquina certa para o serviço. Esse é o argumento que o texto anterior sobre ajuste automático fez para sites com muito tráfego, e nada aqui volta atrás nele. O limite é só este: uma máquina ajustada para produzir vitórias rápido não é a mesma máquina que uma ajustada para dizer quais vitórias são verdadeiras. E a primeira, rodando no máximo, vai entregar mais falsos positivos, e não menos. A velocidade é um recurso do otimizador. Para o placar, ela é um risco.
Então, no próximo trimestre, antes que a pilha de vitórias chegue perto de uma previsão, faça a conciliação. E em qualquer vencedor grande o bastante para virar aposta, congele a divisão e pergunte de quantos testes ele saiu. Se as vitórias batem, embolse. Se não batem, você não tem um problema de conversão que a ferramenta resolveu. Você tem um problema de contagem que a ferramenta criou. Rode isso com os seus números e conte para a gente o que o grupo de controle mostrou.