A/B Testing em Starups

Recent work argues that experimentation is the appropriate framework for entrepreneurial strategy. We investigate this proposition by exploiting the time-varying adoption of A/B testing technology, which has drastically reduced the cost of experimentally testing business ideas. This paper provides the first evidence of how digital experimentation affects the performance of a large sample of high-technology startups using data that tracks their growth, technology use, and product launches. We find that, despite its prominence in the business press, relatively few firms have adopted A/B testing. However, among those that do, we find increased performance on several critical dimensions, including page views and new product features. Furthermore, A/B testing is positively related to tail outcomes, with younger ventures failing faster and older firms being more likely to scale. Firms with experienced managers also derive more benefits from A/B testing. Our results inform the emerging literature on entrepreneurial strategy and how digitization and data-driven decision-making are shaping strategy. (Experimentation and Startup Performance: Evidence from A/B testing
Rembrand Koning, Sharique Hasan, and Aaron Chatterji, NBER 26278, set 2019)

O A/B testing tem sido muito usado no mundo atual. Funciona da seguinte maneira: é feita uma mudança em um produto ou serviço. Suponha uma loja na internet. A empresa altera as cores do site. Para metade dos clientes é dado o acesso a esta nova versão; para os demais, a situação atual. Passado alguns dias, compara-se o desempenho do site, nova versão versus anterior. Se ocorreu um ganho nas compras médias ou no tempo de permanência ou na seleção de produtos mais rentáveis, a alteração é implantada. O teste supõe que a empresa deva ter novas ideias para serem testadas.

Os autores tomaram uma base de 35 mil starups de todo o mundo. Foram usadas as bases Chunchbase Pro, Builtwith e SimilarWeb. Os autores concluíram que poucas starups usam o teste. E aquelas que usam terminam por ter vantagens de crescimento.

Um aspecto importante, destacado pelos autores: há uma diferença entre experimentação e A/B testing. A experimentação inclui ter alternativas, testar e selecionar a mais adequada. A queda no custo do teste é um motivador, mas a experimentação só existe com ideias.