¡Es fácil si sabes cómo! Aprende a distinguir la señal del ruido y aumenta al máximo la potencia estadística de tus análisis de datos.

Estoy convencida de que en algún momento te has tropezado con estas preguntas:

• ¿Puedo confiar en la conclusión de la prueba de hipótesis que he realizado?
• ¿Cuántas muestras necesito para determinar si mi hipótesis es falsa?
• ¿Cuántas personas debo incluir en la muestra para estar 95% seguro de que mi hipótesis se cumple?
• ¿Cuántas réplicas necesito en mi experimento para tener al menos un 80% de probabilidad de detectar los factores que afectan de manera significativa a mi respuesta?

No eres la única persona que se ha planteado estas cuestiones, son muy habituales y todas ellas tienen relación con la potencia estadística, que hoy te explicaré en este post.

¿Qué es la potencia estadística?

Describe la probabilidad de que una prueba identifique correctamente un efecto genuino, real.  

Dicho de una manera más simple es:

La capacidad de distinguir la señal del ruido.

• La señal que nos interesa puede ser el impacto de un tratamiento sobre algún resultado concreto. Por ejemplo, si se estudia un nuevo fármaco para la gripe, queremos saber si es efectivo.
• El ruido que nos preocupa proviene de la complejidad de los datos (qué tan variables son). Por ejemplo, queremos evaluar si la eficacia del fármaco depende fuertemente de la edad del individuo.

¿Puedo confiar en los resultados de la prueba que he realizado? ¡La potencia estadística te da la solución!

Supuesto: probar el efecto de un nuevo fármaco

Siguiendo con nuestro ejemplo, supongamos que queremos probar el efecto de un nuevo fármaco.

Evaluamos el efecto del tratamiento mediante una muestra de tamaño suficiente, y nos preguntamos ¿qué probabilidad hay de obtener un resultado estadísticamente significativo?

En parte esta probabilidad depende de ciertos datos de referencia a los que podemos acceder antes de realizar el experimento:

• ¿Qué edades son las que mejor responden a este tipo de fármaco?
• ¿Cuál es la magnitud de la respuesta a este tipo de medicamentos?

En el análisis de la potencia estadística podemos evaluar cómo de sensible es la probabilidad de obtener resultados significativos a la variación de los datos de partida.

La potencia estadística nos indica qué capacidad ha tenido nuestro estudio de detectar resultados significativos y/o cómo plantear nuevas investigaciones para que nuestros resultados sean más concluyentes.

¿Para qué necesitamos conocer la potencia?

Una de las principales preocupaciones antes de realizar un experimento es el peligro de los falsos negativos.

Esto ocurre cuando el ruido de fondo no nos permite evidenciar el efecto de lo que estamos buscando.

Debemos plantear nuestros experimentos de tal manera de obtener un gran poder de contraste, y así estar seguros de que somos capaces de evidenciar el efecto del tratamiento.

Los resultados negativos de los estudios de poca potencia suelen ser difíciles de interpretar: ¿realmente no hay efecto o es que el estudio no fue capaz de detectarlo?.

Pero los resultados positivos de baja potencia también pueden ser engañosos: ¿los resultados son realmente tan positivos o es que el experimento sobreestima los efectos del tratamiento?.

Además, la limitación de recursos es un hecho habitual en la investigación científica y es aquí donde si queremos ahorrar en recursos debemos ser capaces de responde a las siguientes preguntas:

• ¿Cómo de grande debe ser la muestra de datos para probar nuestras hipótesis?
• ¿Qué probabilidad hay de detectar un efecto significativo en mi diseño experimental? 
• ¿Cómo puedo aumentar esta probabilidad sin aumentar la muestra?

¿Cuál sería un valor aceptable de potencia estadística?

No es una respuesta sencilla, porque el punto de corte es arbitrario y existe un compromiso entre el error asociado al poder estadístico y el error alfa.

Generalmente un valor de potencia de 0.80 es aceptable (según Cohen, 1988) y se puede usar como punto de referencia. Por lo tanto, los investigadores suelen diseñar sus experimentos de manera que sus resultados sean significativos el 80% de las veces. 

En este caso le damos 4 veces más importancia al error beta que al alfa de 0.05 (0.05*4=0.20), ya que le da más importancia al falso negativo que al falso positivo. Es decir, toleramos un error alfa del 5% y un error beta del 20%.

Pero siendo sinceros, este valor no es mágico y depende del tipo de estudio que estés llevando a cabo.

Hay tablas de referencia para algunas áreas de investigación que te pueden ser útiles a la hora de publicar tus resultados.

En un contraste de hipótesis interesa que la potencia:

• Tome valores próximos a cero cuando la hipótesis nula sea cierta (esto es, que la probabilidad de error de tipo I o falso positivo sea pequeña).
• Tome valores próximos a uno cuando la hipótesis nula es falsa (es decir, que la probabilidad de error tipo II o falso negativo sea pequeña).

No es necesario que la potencia estadística sea máxima, ya que implicaría que la muestra con la que trabajemos sea enorme.

Debemos encontrar un punto intermedio con el que ahorrar en recursos.

¿Cómo mejorar la potencia estadística?

Los ruidos de tratamiento (problemas experimentales o de instrumento) y de fondo (respuestas con alta variabilidad) no se pueden controlar, pero sí podemos diseñar adecuadamente nuestro experimento para obtener una potencia alta. 

La potencia de una prueba estadística depende del tamaño de la muestra, el nivel de significación y el tamaño del efecto.

• El tamaño de la muestra es el número de casos o sujetos que participan del estudio.
• El nivel de significación alfa es la probabilidad de rechazar la hipótesis nula cuando ésta es verdadera (error tipo I o falso positivo).
• El tamaño del efecto es una medida del cambio en una respuesta.

Una baja potencia podría deberse a un tamaño de muestra pequeño o un tamaño del efecto pequeño, y lo contrario para una potencia alta.

El valor alfa se fija arbitrariamente por el investigador y suele tomar el valor del 5%.

Se puede conseguir aumentar la potencia de una prueba estadística aumentando el tamaño muestral del estudio, aunque esto suele encarecer el estudio, por lo tanto debemos tener información precisa del número de sujetos o casos a considerar en nuestro experimento.

También podemos incrementar la potencia utilizando muestras homogéneas, es decir, disminuyendo su variabilidad o varianza.

Podemos diseñar adecuadamente nuestro experimento para obtener una potencia alta en nuestras investigaciones.

Tienes dos posibilidades para plantear tu estudio:

• Planteo a priori.

Si seleccionas de antemano el nivel alfa, la potencia deseada y el tamaño del efecto que deseas detectar, entonces tu objetivo es determinar cuántos sujetos se necesitan considerar en la investigación para cumplir con estos criterios.

• Planteo a posteriori

Si seleccionas de antemano el nivel alfa, el tamaño muestral y el tamaño del efecto, entonces deseas conocer la potencia que ha tenido la prueba estadística para la magnitud del efecto que tienes.

Espero que estos consejos te hayan resultado útiles. ¡Nos vemos en el próximo post!

¿Quieres saber más?

Visita más entradas de mi blog Data Science + R.

Gracias por estar ahí, y si te gustó…¡Déjame un comentario!