CRO e Experimentação · Consolidado
Significância Estatística
Indica se a diferença observada em um teste é pouco provável de ter surgido só por acaso.
- Em inglês
- Statistical Significance
- Revisado em
Nesta página
O que é Significância Estatística?
Significância estatística é o resultado de um teste de hipótese que compara o p-valor a um limite definido antes do experimento, como 5%. Um resultado significativo indica que os dados seriam pouco prováveis se não houvesse efeito. Não mede o tamanho do efeito.
Por que é importante?
Evita decisões baseadas em variações aleatórias. Programas de experimentação usam a significância como critério de decisão. Mal interpretada, porém, leva a conclusões erradas, por isso precisa de regras claras.
Como medir Significância Estatística?
Metodologia
Resultado significativo quando p-valor < α (nível de significância definido antes do teste, por exemplo 0,05)
O p-valor é a probabilidade de observar um resultado tão extremo quanto o obtido, supondo que não há diferença real. O nível α é escolhido antes. O teste estatístico depende do tipo de métrica, como proporção ou média.
- Unidade
- p-valor (0 a 1) e decisão significativa ou não
- Leitura
- A leitura depende do contexto
Exemplo: Um teste de página teve p-valor 0,02, com α definido em 0,05. O resultado é estatisticamente significativo. A decisão ainda depende do tamanho do efeito e do custo da mudança.
Como interpretar?
- Quando aumenta
- Um p-valor maior indica dados mais compatíveis com a ausência de efeito.
- Quando diminui
- Um p-valor menor indica dados menos compatíveis com a ausência de efeito.
- Contexto e cuidados
- Significância não é importância prática. Com amostras enormes, efeitos minúsculos ficam significativos. Olhar o resultado várias vezes e parar quando fica significativo aumenta os falsos positivos.
Onde utilizar?
Consolidado: Definição estável e usada da mesma forma pelo mercado e pelas plataformas.
Quem acompanha?
| Nível | Aplicação | O que faz com o indicador |
|---|---|---|
| Analista Pleno | Opera | Configura, acompanha e ajusta o indicador no dia a dia. |
| Analista Sênior | Analisa | Investiga variações, cruza dados e recomenda mudanças. |
| Coordenador | Analisa | Investiga variações, cruza dados e recomenda mudanças. |
A lista indica onde o indicador costuma ser mais relevante. Qualquer profissional pode consultá-lo.
Como otimizar?
- Defina hipótese, métrica principal, α e tamanho de amostra antes do teste.
- Não encerre o teste antes da amostra planejada, a não ser com método sequencial.
- Evite testar muitas métricas e variações sem ajuste.
- Reporte p-valor junto com efeito e intervalo de confiança.
Erros comuns
- Interpretar o p-valor como a probabilidade de a variação ser melhor.
- Parar o teste assim que aparece significância.
- Ignorar o tamanho do efeito.
Como este indicador se conecta a outros KPIs
Se o intervalo de confiança de 95% da diferença não inclui zero, o resultado é significativo a 5%. O intervalo é mais informativo, porque mostra também o tamanho plausível do efeito.
As relações mostram como um número entra na conta do outro, sob as premissas descritas. Não são causas automáticas: mudanças de público, oferta e medição alteram o resultado.
Indicadores relacionados
Perguntas frequentes sobre Significância Estatística
95% de confiança é obrigatório?
Não. É uma convenção. O nível deve refletir o custo de errar. A American Statistical Association alerta contra decisões baseadas só em um limite de p-valor.
p-valor 0,03 significa 97% de chance de a variação ser melhor?
Não. O p-valor não é a probabilidade de a hipótese ser verdadeira. É a probabilidade dos dados, supondo que não há efeito.
Por que não posso olhar o teste todo dia?
Pode olhar, mas não deve parar ao primeiro sinal de significância. Isso aumenta muito a chance de falso positivo, a menos que use um método sequencial.