4.322 tests A/B en push: lo que aprendí sobre fatiga de audiencia

Soy Diego. He corrido 4.322 tests A/B/n en push notification ads entre 2019 y 2024, en su mayoría para iAdvize, en iGaming, finanzas y utility, EU y LATAM. Lo que sigue no son opiniones — son datos.

El error frecuente: tratar la fatiga como un número promedio

Casi todos los casos de estudio de push que circulan reportan la “fatiga de audiencia” como una caída de CTR a los 7 días. El problema con ese número: está promediado entre GEO, navegador y frecuencia diaria. La curva real, segmentada, no es lineal y casi nunca se publica.

En Q3 2022 corrí un test de fatiga de 21 días sobre una audiencia push iGaming ES, Chrome desktop, frecuencia 3 notificaciones/día por suscriptor, n=18.400 suscriptores únicos en la cohorte. CTR baseline día 1: 2,84%. Día 7: 2,21%. Día 14: 1,62%. Día 21: 1,18%. La caída entre día 7 y día 14 es del 26,7%, y entre día 14 y día 21 es del 27,2%. La caída no se acelera — se mantiene casi lineal en porcentaje sobre el baseline diario, lo que en términos absolutos significa que el delta entre días se va achicando.

Lo que cambia cuando subís la frecuencia

Repetí el mismo diseño cambiando solo la frecuencia a 6 notificaciones/día. Mismo segmento, mismo creativo, mismo período (Q3 2022, Chrome desktop ES iGaming), n=12.600 suscriptores. Día 1: 2,71%. Día 7: 1,84%. Día 14: 1,09%. Día 21: 0,72%. La caída día-7-a-día-14 ahora es del 40,8%. La frecuencia no agrega impresiones útiles — agrega aceleración de fatiga.

La conclusión que la mayoría salta: “ergo, bajá la frecuencia”. El número que falta para esa decisión es el ingreso total por suscriptor en ventana de 21 días. A 3/día con esa curva, el suscriptor promedio entregó 1,47 conversiones en 21 días. A 6/día, 1,71. La frecuencia más alta gana ingreso total a pesar de quemar más rápido — siempre que tengas reposición de audiencia para mantener el flujo.

El navegador como variable independiente

El test que más sorprendió en mi base ocurrió en Q1 2023. Mismo creativo, mismo GEO (MX), mismo vertical (iGaming), misma frecuencia (4/día). Chrome desktop n=8.200, Chrome mobile n=8.400, Edge desktop n=2.100. CTR día 1: Chrome desktop 2,41%, Chrome mobile 0,78%, Edge desktop 3,12%. La curva de fatiga a 14 días: Chrome desktop cayó 38%, Chrome mobile cayó 51%, Edge desktop cayó 24%.

El push en Edge desktop fatiga más lento porque el usuario típico de Edge tiene menor exposición previa a push notifications de otros anunciantes — la audiencia es menos saturada estructuralmente. Esto no aparece en ningún panel agregado. Lo único que un panel típico te dice es “Edge convierte mejor”. Lo que el segmento muestra es que Edge convierte mejor y fatiga menos.

Por qué los case studies mienten sobre fatiga

La razón por la cual la mayoría de case studies reporta “fatigue se estabiliza a partir del día 4” es que los tests se cortan al día 7 con n insuficiente. Para detectar una caída de 6 puntos porcentuales sobre un baseline de 2% con poder 80% y α=0.05, necesitás n≥3.200 por día por arm. La mayoría de tests publicados corren con n<800 por día y declaran la curva “plana” cuando lo que están viendo es ruido aleatorio entre puntos diarios sin poder estadístico para detectar la tendencia.

Lo que la mayoría llama “best practice” es una anécdota con tabla.

Lo que sí funciona

En la misma base de 4.322 tests, las tres intervenciones que mostraron lift estadísticamente significativo y clínicamente relevante sobre fatiga fueron:

1. Rotación de creativo cada 5 días sobre el mismo suscriptor. Test corrido en Q4 2023, push iGaming ES Chrome desktop, n=14.200 cohorte total, control vs rotación: CTR día 14 control 1,62%, CTR día 14 rotación 2,08% (lift relativo +28,4%, p=0.003, CI 95%). La rotación funciona — pero solo si el segundo creativo no comparte el titular con el primero.

2. Capping diario por suscriptor a 4 notificaciones/día vs sin cap. Test Q1 2024, push utility MX Chrome mobile, n=9.800. CTR día 14 con cap: 1,34%. Sin cap (frecuencia natural promedio 7,2/día): 0,89%. Diferencia p=0.008. Lo que el cap consigue es preservar el CTR a costa de impresiones absolutas: el cap dejó 23% menos impresiones, pero el ingreso por suscriptor a 14 días fue +11% mayor.

3. Pausar la audiencia entre día 14 y día 28 y reactivarla con creativo nuevo. Test Q2 2023, push iGaming ES Chrome desktop, n=6.400. CTR día 28 reactivada: 2,42%. CTR día 28 sin pausa: 1,09%. La pausa de 14 días recupera ~85% del CTR baseline. La mayoría de redes no soportan pausar y reactivar la misma cohorte — verificá si tu red lo permite antes de diseñar el plan.

El número que nadie te da

Si tu red push no te entrega CTR por cohorte día-a-día — no agregado, no promediado — no podés medir fatiga. Lo que vas a ver es un CTR mensual que mezcla cohortes frescas con cohortes quemadas y sale a un número intermedio sin información accionable. Las tres redes que actualmente entregan cohorte diaria sin pedirla expresamente son PropellerAds, RichAds y Adsterra; Monetag y Adcash la entregan a pedido, con delay de 48-72h.

Si te dicen que la fatiga “se estabiliza a partir del día 4”, pedí el sample size por día. Si te dicen n=140 por día, no estabilizó nada — no había poder para detectar la pendiente.

Preguntas frecuentes

¿Qué tan rápido cae el CTR de push por fatiga de audiencia?

Depende del GEO, del navegador y de la frecuencia diaria — la curva agregada sin esas variables no describe nada real. En Q3 2022 corrí un test de 21 días sobre push iGaming ES Chrome desktop con frecuencia de 3 notificaciones/día y n=18.400 suscriptores únicos: CTR baseline día 1 de 2,84%, día 7 de 2,21% y día 21 de 1,18%. La caída es casi lineal en porcentaje sobre el baseline diario — no se acelera, pero tampoco se estabiliza. La mayoría de case studies reporta “la fatiga se estabiliza a partir del día 4”. Lo que se estabiliza es el noise de un test con n<800 por día.

¿Subir la frecuencia diaria de push acelera la fatiga?

Sí, de forma significativa. Con 6 notificaciones/día en el mismo segmento (Chrome desktop ES iGaming, Q3 2022, n=12.600 suscriptores), la caída de CTR entre día 7 y día 14 fue del 40,8%, frente al 26,7% con frecuencia de 3/día. La frecuencia más alta no agrega impresiones útiles — agrega aceleración de fatiga. El número que la mayoría salta: con 6/día el suscriptor promedio entregó 1,71 conversiones en 21 días frente a 1,47 con 3/día. La frecuencia alta gana ingreso total a pesar de quemar más rápido, siempre que tengas reposición de audiencia para mantener el flujo.

¿Edge desktop fatiga más lento que Chrome en push? ¿Por qué?

Sí. En Q1 2023 corrí el mismo creativo en México iGaming con frecuencia de 4/día: Chrome desktop (n=8.200) cayó 38% en 14 días, Chrome mobile (n=8.400) cayó 51% y Edge desktop (n=2.100) cayó solo 24%. El usuario típico de Edge tiene menor exposición previa a push de otros anunciantes — la audiencia está menos saturada estructuralmente. Esto no aparece en ningún panel agregado. Un panel te dice “Edge convierte mejor”; el segmento te muestra que Edge convierte mejor y fatiga menos, que son dos cosas distintas.

¿Cada cuántos días hay que rotar el creativo para combatir la fatiga?

Cada 5 días sobre el mismo suscriptor, según el test más claro de mi base. En Q4 2023, push iGaming ES Chrome desktop, n=14.200 cohorte total: el CTR día 14 del control fue 1,62% y el del grupo con rotación de creativo fue 2,08% (lift relativo +28,4%, p=0,003, CI 95%). La rotación funciona solo si el segundo creativo no comparte el titular con el primero. Si el titular es el mismo y cambias la imagen, el suscriptor reconoce el mensaje y el efecto de frescura desaparece.

¿Pausar la audiencia y reactivarla con creativo nuevo recupera el CTR de base?

En un test de Q2 2023, push iGaming ES Chrome desktop, n=6.400: pausar entre día 14 y día 28 y reactivar con creativo nuevo produjo CTR día 28 de 2,42%. Sin pausa, el CTR día 28 fue 1,09%. La pausa de 14 días recupera aproximadamente el 85% del CTR baseline. La mayoría de redes no soporta pausar y reactivar la misma cohorte de suscriptores — verificá si tu red lo permite antes de diseñar el plan de rotación.

¿Qué redes push entregan datos de CTR por cohorte día a día sin pedirlo expresamente?

Según mi tracking, solo tres entregan el dato sin pedirlo: PropellerAds, RichAds y Adsterra. Monetag y Adcash lo entregan a pedido con delay de 48-72 horas. Sin datos de cohorte diaria, lo que ves en el panel es un CTR mensual que mezcla cohortes frescas con cohortes quemadas y sale a un número intermedio sin información accionable. Si tu red no entrega CTR por cohorte día a día, no podés medir fatiga — solo podés observarla en retrospectiva cuando el damage ya está hecho.