Metodologia

Como o Experiment Decision Log pensa evidência, decisão e aprendizado — e onde ele deliberadamente para.

Limites de um teste A/B

Um A/B estima diferenças sob condições específicas (tráfego, período, implementação). Ele não “prova” que a variante é melhor em todos os contextos futuros. Interferência entre usuários, sazonalidade, novelty effects e mudanças de produto podem invalidar a extrapolação.

• Amostra pequena → alta incerteza (marcamos baixa confiabilidade <100/grupo).
• Múltiplas métricas sem correção → risco de falso positivo.
• Peeking contínuo sem plano → p-values otimistas.

Significância ≠ decisão

Um p-value baixo na métrica primária não autoriza ship automático. Decisão de produto combina evidência estatística com guardrails, risco, custo de implementação, confiança do time e capacidade de monitorar depois do rollout.

Guardrails

Guardrails protegem o negócio enquanto a primária é otimizada. Exemplos: ticket médio, churn, erro de pagamento, tempo até valor. Se a primária sobe e o guardrail cai de forma material, a recomendação padrão é não shipar ou iterar com mitigação.

Por que registrar aprendizado

Experimentos sem aprendizado documentado viram slides esquecidos. Registrar o que foi decidido, por quê, com quais riscos e o que será acompanhado cria memória institucional e material de portfólio honesto.

O que este MVP calcula

• Taxas de conversão, diferença absoluta e uplift relativo.
• Z-test aproximado de duas proporções e p-value bilateral.
• Intervalo aproximado de 95% para a diferença de taxas.
• Classificação de evidência e sugestão de decisão (revisão humana obrigatória).

Detalhes técnicos: ver também docs no repositório (docs/statistical-notes.md e docs/decision-framework.md.