Por que o "ganho" que a sua ferramenta de conversão com IA informa não é o número que o seu CFO imagina
Por Luis Gomes, Fundador e líder de crescimento
O slide diz +18% de ganho. A sala concorda com a cabeça. Alguém põe o número na previsão. Eis a parte que o slide deixa de fora: nas três semanas em que o teste rodou, a ferramenta foi mandando, sem alarde, cada vez mais visitantes para a versão que já estava na frente. No fim, a versão "vencedora" tinha recebido a maior parte do tráfego, e recebeu esse tráfego porque estava vencendo. O número da manchete não diz quanto B é melhor que A. Ele diz como a corrida terminou, depois que a ferramenta passou a corrida inteira empurrando quem liderava.
Essa diferença pesa no momento em que um CFO trata o número como dinheiro. Este texto é para quem compra software de conversão com IA, ou assiste a apresentações de venda dele: qualquer coisa que "otimiza", "aloca automaticamente" ou "personaliza" em tempo real. Ele explica por que o ganho informado quase nunca é um ganho com que você pode contar. E traz as três perguntas que mostram que tipo de número você tem na frente.
O argumento que este blog defende sobre conversão cabe numa linha: o ganho vem da pesquisa, e não do ajuste automático, e a unidade de trabalho é a intenção, o que o visitante está tentando resolver. Se você não leu esses textos, essa linha basta aqui. O que este acrescenta fica um passo depois: quando a ferramenta termina de rodar, como ler o número que ela entrega?
A realocação de tráfego
Comece pelo jeito antigo, porque é exatamente o que o número novo deixou de ser, sem avisar. Um teste A/B limpo divide o tráfego em partes iguais, metade vê A e metade vê B, e mantém essa divisão até que gente suficiente tenha passado pelas duas versões. Com divisão igual e as mesmas condições, você compara as duas taxas de conversão. Essa comparação é o ganho, e com ela você pode contar.
A maioria das ferramentas de conversão com IA não funciona mais assim, e elas mesmas dizem isso. O mecanismo tem nome, multi-armed bandit, mas basta a versão simples: a ferramenta vai deslocando o tráfego para a versão que converte melhor enquanto o teste ainda está rodando. Isso não é defeito. É o argumento de venda. Uma divisão fixa e igual "desperdiça" visitantes na versão que acaba perdendo. Uma ferramenta que aposta cedo na líder ganha mais conversões durante o próprio teste. Se o seu objetivo é tirar o máximo de vendas do tráfego deste mês, essa é de fato a máquina melhor.
Só que ela quebra a comparação. A versão vencedora não recebeu uma parte justa e igual dos visitantes. Recebeu uma parte crescente, entregue a ela justamente nos dias e horários em que estava em alta. A taxa de conversão final dela fica misturada com a decisão da ferramenta de alimentá-la. Não dá para separar com clareza "B é uma página melhor" de "B recebeu o tráfego bom porque estava na frente naquele momento". E também não sobra nenhum grupo intocado para comparar, nada que a ferramenta tenha deixado em paz. O antes e depois bruto, informado como "+18%", mede o esforço do otimizador tanto quanto a qualidade da página. Otimizar e medir são dois trabalhos diferentes, e a mesma rodada não faz bem os dois.
A documentação das plataformas
Esta é a parte que deveria tranquilizar e irritar você ao mesmo tempo: as ferramentas sérias documentam tudo isso. Elas só não põem a informação onde o comprador olha.
A Optimizely, uma das maiores plataformas de experimentação do mercado, diz isso com clareza na própria documentação de suporte. Nas palavras dela, essas ferramentas "não geram significância estatística e não usam uma experiência de controle ou de referência." É o argumento inteiro acima, escrito pelo fornecedor. E a tela de resultados, de novo segundo a própria documentação, mostra "improvement over equal allocation", a melhora sobre a divisão igual: quanto a ferramenta foi melhor do que se tivesse só dividido o tráfego em partes iguais. Esse é o número honesto que uma ferramenta que desloca tráfego consegue entregar. Não é "B venceu A por X%". É "ganhamos de um cara ou coroa por tanto".
Você não vai encontrar essa ressalva na página inicial, no estudo de caso ou no slide da revisão trimestral. Ali, o mesmo tipo de rodada aparece como vitória pura, e o aviso não vai junto. O texto explicativo da própria VWO admite que, quando uma ferramenta otimiza em direção à líder, "a certeza estatística fica em segundo plano". A frase é correta, mas está num post de blog, e não impressa embaixo da vitória. A documentação da AB Tasty vai além e avisa que "seria um erro mandar todo o tráfego para a aparente vencedora". O conselho é bom, mas está onde os compradores não leem.
E essas são as ferramentas que são honestas em algum lugar. Uma categoria inteira de ferramentas de personalização mais novas nunca menciona a ressalva. A demonstração na página inicial da Evolv AI destaca um "UPLIFT +13%." A Fibr anuncia "ROI 28% maior." A Dynamic Yield cita um "aumento de +4,2% no ARPU." Todas rodam por baixo uma otimização contínua, que desloca tráfego. E todas mostram por cima um número único com cara de limpo, sem nada ao lado sobre o que esse número consegue e não consegue dizer. Nada disso é mentira. A capacidade é real, e a matemática é bem conhecida. O número só faz um trabalho mais discreto do que o comprador supõe, e o único lugar que diria isso é o único que o fornecedor não imprime.
Três perguntas para o resultado
Você não precisa virar estatístico para lidar com isso, nem recusar as ferramentas. Precisa de três perguntas para qualquer ganho informado e de um hábito para o próximo teste. Faça as perguntas em voz alta na revisão trimestral.
Um: alguma parte ficou fora da ferramenta? Pergunte se uma fatia do tráfego foi reservada e nunca otimizada, um grupo que sempre viu a versão original e que a realocação não tocou. Essa fatia reservada é a sua comparação limpa. Se a resposta honesta é "não, a ferramenta rodou sobre tudo", não existe antes e depois com que contar. Você tem um site que foi otimizado, e não um ganho que foi medido. As duas coisas podem estar bem. Só não são a mesma afirmação.
Dois: o número é a melhora sobre a divisão igual ou uma taxa bruta? A distinção é da própria Optimizely, e é a pergunta mais afiada do conjunto. A melhora sobre a divisão igual ("improvement over equal allocation") é a leitura que dá para defender: a ferramenta informa quanto ganhou de uma divisão igual. Uma taxa de conversão bruta de antes e depois, apresentada como o ganho, é a leitura contaminada. Faça o fornecedor dizer qual das duas o slide mostra. Os bons respondem numa frase.
Três: o ganho resiste a uma divisão congelada? Se um resultado importa de verdade, porque você vai aplicá-lo em tudo ou pôr na previsão, rode o teste de novo. Use uma divisão fixa e igual, por um período definido, com o deslocamento de tráfego da ferramenta desligado. Uma melhora real na página se sustenta numa divisão igual. Uma "vencedora" que só parecia boa porque recebia tráfego enquanto estava em alta tende a encolher quando a alimentação para.
O hábito para a próxima vez: decida antes do teste se este é um mês para otimizar ou uma pergunta para medir. Otimizar é deixar a ferramenta deslocar o tráfego, ficar com as conversões extras e aceitar uma medição imprecisa. Medir é reservar uma fatia, congelar a divisão e chegar a um número que você consegue defender. Os dois caminhos são válidos. O erro é querer o segundo, comprar o primeiro e depois apresentar o primeiro como se fosse o segundo.
Otimização e medição
A ferramenta que desloca tráfego para a líder faz um trabalho real e, com volume alto o bastante, é a ferramenta certa para o serviço. Foi o que o texto anterior sobre ajuste automático defendeu, e nada aqui volta atrás nisso. Este texto só acrescenta um limite: a máquina feita para trazer mais conversões este mês não é a mesma que entrega uma leitura limpa do porquê. Pedir as duas coisas a um mesmo aparelho é como um número impreciso vai parar numa previsão fantasiado de número medido.
Na próxima revisão trimestral, antes de o número chegar perto do modelo financeiro, faça as três perguntas: fatia reservada, ganho sobre a divisão igual, resistência a uma divisão congelada. Se as respostas existem, conte com o número. Se não existem, o número é uma direção, e não um resultado: serve para orientar, mas não para a planilha. Teste isso no próximo ganho que receber e conte para a gente o que o fornecedor respondeu quando você perguntou que tipo de número era aquele. E quando você estiver rodando muitos testes, e não um, o texto seguinte mostra por que uma pilha de vitórias informadas pode crescer enquanto a sua taxa de conversão real fica parada.