Case sintético completo
Promoção 15% off: conversão sobe, ticket médio cai
Dataset agregado sintético para demonstrar o framework completo — hipótese, primária, guardrail, evidência, decisão e aprendizado — sem PII e sem claim de experimento real em produção.
1. Contexto
Time de growth propõe banner permanente de 15% no carrinho. O problema declarado é conversão carrinho→compra abaixo da meta. Guardrail crítico: ticket médio (AOV) e receita agregada.
2. Hipótese
Se exibirmos desconto de 15% no carrinho, a conversão sobe porque reduzimos a percepção de risco de preço.
3. Desenho (agregado)
- Primária: conversão carrinho → compra (aumentar)
- Guardrail: AOV sem regressão material
- Controle: 2.800 visitantes · 336 conversões · AOV ~R$300
- Variante: 2.750 visitantes · 413 conversões · AOV ~R$240 (−20%)
4. Evidência na métrica primária
A taxa de conversão sobe de forma clara (evidência forte no z-test aproximado). Se o time olhasse só a primária, a tentação seria ship.
5. Guardrail e decisão
O AOV cai ~20% e a receita agregada não compensa. No app, o status de guardrail harmed força recomendação do_not_ship. A decisão humana registra rationale, riscos de ancoragem de preço e follow-up em RPV / desconto seletivo.
6. Aprendizado
Otimizar só conversão pode destruir ticket e margem. Decision log existe para tornar esse trade-off explícito e reutilizável.
7. Limites honestos
- Dados sintéticos para portfólio — não é resultado de A/B real.
- Guardrail de AOV é qualitativo neste MVP (não há teste contínuo).
- Estatística é aproximação frequentista de proporções.