Ajuste automático não é experimentação. É a disciplina que os fornecedores de CRO com IA vendem como dispensável.
Por Luis Gomes, Fundador e líder de crescimento
Pense numa marca que vende direto ao consumidor pelo Shopify, com 100.000 sessões por mês. Ela tem a taxa de conversão mediana do e-commerce, de 2,81%, e o ticket médio mediano, de cerca de $58 (os dois números vêm do benchmark de e-commerce 2026 da Littledata). A marca liga um fornecedor de CRO com IA na abertura da página inicial, na página de produto, no carrinho e no checkout. Três meses depois, o painel mostra um ganho de 6% na abertura da página inicial, de 2% na página de produto e nenhuma variação estatisticamente significativa no carrinho e no checkout. O slide da revisão trimestral do fornecedor diz que os ganhos se acumulam e chegam a cerca de 4% na receita total. Todo mundo sai da reunião satisfeito.
Enquanto isso, um concorrente com metade do tráfego faz oito entrevistas com clientes. Ele descobre que uma página de produto passa a ideia de assinatura, e não de compra única, para um grupo nada desprezível de visitantes, porque o preço apresentado por mês pesa demais na leitura. O concorrente muda o texto. A taxa de passagem da página de produto para o carrinho muda de forma relevante numa única semana. Ele não rodou um teste A/B para essa mudança, porque o sinal das entrevistas era forte o bastante. Depois, rodou um grupo de controle para garantir que não tinha prejudicado o grupo que de fato preferia o preço apresentado como assinatura.
O resto deste texto trata dessa diferença. A primeira marca comprou uma ferramenta que faz palpites mais rápidos. A segunda praticou uma disciplina de pesquisa que produziu um palpite bom. As duas "fizeram CRO". Para a segunda marca, o que gerou efeito composto foi a camada que o discurso do fornecedor nunca menciona. Se o gestor faz bem essa camada, a ferramenta do fornecedor vira a peça comum que fica por baixo.
A premissa escondida
O discurso do ajuste automático parte, sem dizer, da premissa de que o gargalo da conversão é a combinação de variantes em que a equipe consegue pensar, e não a qualidade dessas variantes. Na escala do cliente da LeanBoat, essa premissa está quase sempre errada. Esse cliente é a marca de venda direta com faturamento abaixo de $50 milhões ou o SaaS com receita recorrente anual de poucos milhões.
As duas escolas de CRO
O campo de CRO está dividido há tempo suficiente para que cada lado publique a própria posição como produto.
O lado que começa pela pesquisa publica o método como o artefato. Peep Laja, da Speero, organiza esse método como o Experimentation Operating System. Ele diz com todas as letras que o que gera efeito composto é o desenho e a governança dos testes, e não a ferramenta que roda o teste. Karl Gilis, da AGConsult, aplica um método que começa pela pesquisa e combina foco nas emoções do cliente, trabalho qualitativo e desenho rigoroso de testes. Talia Wolf, da GetUplift, apresenta o mesmo formato num enquadramento que começa pela emoção. André Morys, da konversionsKRAFT, publica a mesma arquitetura na Alemanha há duas décadas. Lukas Vermeer, ex-diretor de experimentação da Booking.com, tem vários artigos revisados por pares e um enquadramento público que ele chama de "The Experimentation Gap". É a distância entre o que uma equipe acha que aprendeu com um teste e o que o teste de fato consegue sustentar. Lucia van den Brink deu a versão mais direta para quem opera, no podcast da VWO. Empresas que rodam testes em volume relevante precisam ter a experimentação dentro de casa, e não alugá-la de agências ou de ferramentas de ajuste automático.
O lado do ajuste automático publica a ferramenta como o artefato. A Mutiny vende personalização com IA para páginas de contas B2B. A Intellimize (hoje Webflow Optimize) vende uma história de personalização "sem teste A/B". A VWO lança módulos de multi-armed bandit e de CRO com IA como sucessores do teste. O produto Personalization da Optimizely posiciona o direcionamento automático como a evolução natural depois dos testes controlados. A Evolv AI vende o multi-armed bandit como plataforma. É a versão mais limpa do discurso: se você deixar, a matemática descobre a melhor variante. (Multi-armed bandit é o algoritmo que muda a divisão do tráfego entre as variantes enquanto o teste roda.)
Nenhuma dessas ferramentas faz mal, do ponto de vista mecânico, o que se propõe a fazer. A questão é de economia unitária, e não de marketing: o que elas fazem é a camada que gera efeito composto na escala de tráfego e de receita de quem compra?
A conta por faixa de tráfego
Um ponto de taxa de conversão vale uma quantia diferente em cada escala. O discurso do ajuste automático é, sem dizer, um discurso para grandes empresas com muito tráfego, e a força do método que começa pela pesquisa está, também sem dizer, abaixo dessa escala. A conta tira a arbitrariedade dessa divisão.
Na faixa do cliente da LeanBoat, com os números da Littledata, a conta fica assim. Uma marca com 100.000 sessões por mês, taxa de conversão base de 2,81% e ticket médio de $58. Um ganho de 0,5 ponto na taxa de conversão dá cerca de 500 pedidos a mais por mês, algo como $29.000 de receita adicional mensal e perto de $348.000 por ano. Um único ganho de meio ponto produz uma diferença anual de algumas centenas de milhares de dólares. No topo da faixa, com um milhão de sessões por mês e a mesma base, o mesmo ganho de meio ponto chega perto de uma diferença anual de poucos milhões de dólares. Na base da faixa, com 25.000 sessões por mês, fica mais perto de algumas dezenas de milhares de dólares por trimestre.
É nessa faixa que o fornecedor de ajuste automático vende e é nessa faixa que o método que começa pela pesquisa gera efeito composto. É também a faixa em que o custo de um teste errado consome toda a diferença. Teste errado aqui é rodar um teste que não consegue responder à pergunta, ou testar uma pergunta que nunca foi o gargalo. Testes ruins mais rápidos são a falha que a implantação de ajuste automático produz nessa faixa.
A conta se inverte com tráfego muito alto. Com dez ou vinte milhões de sessões por mês, o número de variantes simultâneas sobe. O custo de rodar o teste por tempo suficiente para ter poder estatístico sobe mais rápido ainda. Aí um bandit que redistribui o tráfego durante o teste é bem melhor do que um teste binário de vencedor e perdedor. É nesse ponto que os gestores que começam pela pesquisa deixam de competir na camada de execução e passam a competir só na camada de cima, a que define a hipótese de partida. O ajuste automático tem uma faixa em que a implantação está certa. Essa faixa fica uma ou duas ordens de grandeza acima do comprador para quem este texto foi escrito.
O desenho do experimento
Três trabalhos acadêmicos recentes são as versões publicadas mais limpas do que o ajuste automático faz, e do que ele não faz. Eles são úteis justamente por serem a favor da IA: descrevem a técnica nos próprios termos, e não no discurso do fornecedor.
O AgentA/B (arXiv 2504.09723) mostra que agentes de LLM conseguem simular usuários em testes A/B, com um estudo de caso de 1.000 agentes na Amazon.com. O artigo é a defesa empírica mais forte dos testes com agentes. E ele posiciona os agentes, de forma explícita, como um jeito de ganhar escala nas perguntas de pesquisa que já existem, e não como substitutos da pesquisa humana que define essas perguntas. O Experimentation Accelerator (arXiv 2602.13852) mostra LLMs transformando oportunidades ranqueadas em sugestões criativas concretas e estimando o potencial de aprendizado e de conversão. É um apoio direto à IA como algo que amplia a pesquisa, e não que a substitui. O RL-LLM-AB (arXiv 2506.06316) combina aprendizado por reforço e LLM para automatizar testes A/B em marketing personalizado. É a descrição mecânica publicada mais limpa do que os fornecedores estão vendendo.
O fio que liga os três: a IA é útil de verdade nas camadas de ranqueamento, simulação e execução. Nenhum dos três artigos mostra a IA gerando a hipótese de partida, aquela baseada em pesquisa com clientes que o teste deveria avaliar. Essa camada continua sendo trabalho humano. A disciplina de quem opera essa camada bem é o que gera efeito composto de um teste para o outro. O ajuste automático pula essa camada porque montar uma equipe para ela custa caro e ela não cabe na página de preços de um fornecedor.
A vantagem do ajuste automático
Os fornecedores de ajuste automático fazem um trabalho legítimo com volumes de tráfego muito altos, em que é difícil manter o poder estatístico de testes manuais com muitas variantes simultâneas. Os clientes de referência nessa faixa são reais. A conta sustenta a implantação. A crítica de que o produto está na faixa errada fica mais crível justamente porque a faixa certa existe.
Os clientes que não estão nessa faixa, e recebem o mesmo produto mesmo assim, são os leitores deste texto.
As quatro camadas
Dá para montar uma equipe para a disciplina que começa pela pesquisa dentro da faixa do cliente da LeanBoat. Ela não exige uma agência com 26 anos de mercado nem um doutorado em experimentação. Exige quatro coisas, nesta ordem.
Um: uma rotina de pesquisa que a equipe vai de fato cumprir. Na faixa do cliente da LeanBoat, isso quer dizer métodos concretos, e não um login de fornecedor. De cinco a oito entrevistas com clientes por trimestre, sempre sobre a mesma hipótese do que move a receita. Uma leitura semanal de gravações de sessão, filtradas para o tráfego com alta intenção de compra que não converteu. Um levantamento mensal de chamados de atendimento, motivos de devolução e respostas abertas de pesquisas, à luz da mesma hipótese. Mapas de calor e análise de abandono de formulário onde está o evento de conversão. É a camada que o discurso do fornecedor troca pela plataforma sem avisar. E é também a camada de onde saem as variantes.
Dois: uma disciplina de desenho de testes que escolhe uma hipótese por vez. Defina uma métrica principal de sucesso e uma métrica de proteção. Decida de antemão o que muda depois do teste (texto, layout, algo removido, algo acrescentado) e o que a equipe vai fazer de diferente em cada resultado. As variantes vêm da camada de pesquisa acima, e não de um brainstorm. O enquadramento "The Experimentation Gap", de Vermeer, é a leitura mais clara do que acontece quando essa camada falta: a equipe acumula testes, e não aprendizados.
Três: um piso estatístico para o que a equipe vai chamar de resultado. Tamanho de amostra definido de antemão. Limite de significância definido de antemão. Janela de duração do teste definida de antemão. É essa a camada que os fornecedores de ajuste automático apresentam como obsoleta. Ela não é. Ron Kohavi escreve há quinze anos a obra de referência sobre o tema (Trustworthy Online Controlled Experiments). O método de quem opera parte das conclusões dele, e o discurso do fornecedor financiado por capital de risco parte, sem dizer, da ideia de que os leitores não sabem que elas existem.
Quatro: uma camada de automação que executa mais rápido. Só aqui as ferramentas de IA se pagam. Publicação dos testes, geração de variantes a partir de uma hipótese já pesquisada, detecção de ganho contra o limite definido de antemão. Os fornecedores estão na camada certa para as ferramentas deles. Eles erram ao tratar as camadas de cima como opcionais.
É isso que implantamos quando uma marca nos pede para colocar IA sobre a área de CRO. A implantação não é "acrescentamos o fornecedor de IA". A implantação é a disciplina de quatro camadas acima, com as ferramentas de IA na camada quatro e, na camada um, uma rotina de pesquisa que a equipe vai continuar cumprindo depois que sairmos.
A disciplina e a ferramenta
A disciplina que os fornecedores de ajuste automático vendem como dispensável é a disciplina que gera o ganho. A ferramenta da camada quatro roda melhor quando o trabalho das camadas um, dois e três foi feito. Quando não foi, ela roda pior, e mais rápido. Palpites ruins mais rápidos e em escala são a falha de um conjunto de ferramentas que compra a camada quatro e pula o resto.
O volume 3 desta coluna traz a versão documentada da camada de rotina de pesquisa como um sprint de cinco etapas: Por que o CRO AI-native testa a intenção do visitante em vez da página, e como fica o ciclo de pesquisa dentro de um sprint.
Um texto posterior retoma a ferramenta de ajuste automático do ponto em que este a deixa. Depois que você a deixa mover o tráfego, como ler o "ganho" que ela informa?