CRO e Experimentação · Consolidado
IC: Intervalo de Confiança
Faixa de valores plausíveis para uma métrica ou efeito, com um nível de confiança definido.
- Em inglês
- Confidence Interval
- Revisado em
Nesta página
O que é IC?
Intervalo de confiança é a faixa calculada a partir dos dados que, com um procedimento repetido muitas vezes, conteria o valor verdadeiro na proporção definida, como 95%. Em testes, mostra os valores plausíveis do efeito, e não só o número observado.
Por que é importante?
O intervalo deixa a incerteza visível e evita decisões baseadas em um único número. Um uplift de 15% com intervalo entre −5% e 35% é muito diferente de um com intervalo entre 12% e 18%. Ajuda gestores a avaliar risco.
Como calcular IC?
Fórmula
IC ≈ Estimativa ± (valor crítico × erro padrão)
A estimativa é a métrica observada ou a diferença entre grupos. O erro padrão depende da variabilidade e do tamanho da amostra. O valor crítico depende do nível de confiança, cerca de 1,96 para 95% na aproximação normal. Há métodos mais precisos para proporções pequenas.
- Unidade
- Mesma unidade da métrica
- Leitura
- A leitura depende do contexto
Exemplo: Uma variação converteu 2,3% com amostra grande. A diferença para o controle foi de 0,3 ponto, com IC de 95% de 0,06 a 0,54 ponto. O efeito é positivo, mas pode ser pequeno.
Como interpretar?
- Quando aumenta
- Um intervalo mais largo indica mais incerteza.
- Quando diminui
- Um intervalo mais estreito indica estimativa mais precisa.
- Contexto e cuidados
- Amostras maiores estreitam o intervalo. Se o intervalo da diferença inclui zero, os dados são compatíveis com nenhum efeito. O nível de confiança é sobre o método, não sobre um intervalo específico.
Onde utilizar?
Consolidado: Definição estável e usada da mesma forma pelo mercado e pelas plataformas.
Quem acompanha?
| Nível | Aplicação | O que faz com o indicador |
|---|---|---|
| Analista Pleno | Opera | Configura, acompanha e ajusta o indicador no dia a dia. |
| Analista Sênior | Analisa | Investiga variações, cruza dados e recomenda mudanças. |
| Coordenador | Analisa | Investiga variações, cruza dados e recomenda mudanças. |
A lista indica onde o indicador costuma ser mais relevante. Qualquer profissional pode consultá-lo.
Como otimizar?
- Planeje a amostra para chegar a um intervalo útil para a decisão.
- Reporte sempre a estimativa com o intervalo.
- Use métodos adequados para proporções pequenas.
- Explique o intervalo em linguagem simples para quem decide.
Erros comuns
- Dizer que há 95% de probabilidade de o valor verdadeiro estar naquele intervalo específico.
- Ignorar intervalos que incluem zero.
- Comparar intervalos de dois grupos em vez de calcular o intervalo da diferença.
Como este indicador se conecta a outros KPIs
Aplicando os limites do intervalo ao volume esperado, obtém-se uma faixa de receita incremental. É uma forma honesta de apresentar o potencial de uma mudança.
As relações mostram como um número entra na conta do outro, sob as premissas descritas. Não são causas automáticas: mudanças de público, oferta e medição alteram o resultado.
Indicadores relacionados
Perguntas frequentes sobre IC
O que significa 95% de confiança?
Que, se o experimento fosse repetido muitas vezes, 95% dos intervalos calculados conteriam o valor verdadeiro. Não é a probabilidade de um intervalo específico conter o valor.
Intervalo de confiança e margem de erro são iguais?
A margem de erro é metade da largura do intervalo. Um resultado de 40% com margem de 3 pontos tem intervalo de 37% a 43%.
Como estreitar o intervalo?
Aumentando a amostra ou reduzindo a variabilidade da métrica medida.