Rosana Ferrero
Data Scientist
Juan L. López
Data Scientist
El significado práctico de los resultados de una investigación se describe según el tamaño del efecto observado. Un efecto es el resultado de algo, un desenlace, una reacción o cambio. El tamaño del efecto es la magnitud del resultado. Mediante el tamaño del efecto podemos dar una estimación del alcance de nuestros hallazgos.
Muchas de nuestras decisiones diarias se basan en un análisis del tamaño del efecto. Tomamos un paraguas si percibimos una alta probabilidad de lluvia, por ejemplo.
La interpretación de los tamaños del efecto es cómo damos sentido al mundo.
Los investigadores debemos generar estimaciones precisas del tamaño del efecto. Pasamos una gran parte de nuestro tiempo buscando formas de reducir los errores de muestreo y medición, entre otras cosas, pero en última instancia, nuestro objetivo es una mejor comprensión de los efectos del mundo real.
Es esencial que interpretemos no sólo la significación estadística de los resultados (el ya archiconocido p-valor), sino también su significación práctica o real.
Máster de Estadística Aplicada con R Software 8ª edición 2019 (Reserva de plaza)
Se trata de un paso esencial para interpretar los resultados de nuestro estudio y su ausencia en los artículos científicos se ha identificado como uno de los 7 fallos más comunes en investigación (según la APA).
Cuestiones como el tamaño muestral necesario para realizar un estudio, la intepretación de los resultados, la significación estadística y práctica de nuestros resultados, dependen del tamaño del efecto.
Evaluar e informar sobre el alcance de los resultados de una investigación es esencial tanto para el progreso científico como para sus implicaciones prácticas.
Podemos agrupar los tipos de tamaño de efecto en 2 familias de efectos:
Podemos querer comparar variables dicotómicas o variables continuas entre grupos.
EJEMPLO: en un estudio sobre Alzheimer encontramos que el IQ medio para el grupo tratamiento es 13 puntos superior a la media del grupo control. Debemos preguntarnos sobre la dispersión de los valores IQ ya que si hay gran variabilidad en los datos entonces la diferencia de 13 puntos no es tan inusual, pero si la variabilidad es pequeña los 13 puntos reflejarán una diferencia sustancial entre los grupos.
Entonces, la manera más sencilla es calcular (M1-M2)/SD, la SD corresponde a la población de estudio.
Si desconocemos SD podemos utilizar valores aproximados. Existen 3 soluciones posibles:
Para elegir qué opción utilizar debemos evaluar la SD de cada grupo:
Para la «d» de Cohen, que es el cálculo más habitual, un valor de 0.5 significa que las diferencias entre los dos grupos es equivalente a 1/2 de la SD, mientras que un valor de 1 significa que la diferencia es igual a la SD. Cuanto mayor sea el valor mayor es el efecto. Al estar estandarizada no tiene unidades, por lo cual podemos comparar los valores con otros estudios.
EJEMPLO: tenemos un experimento médico donde tenemos la probabilidad de recuperación «p» en el grupo tratamiento y «q» en el control. Tenemos 3 formas de comparar estos grupos:
Para elegir qué opción utilizar debemos evaluar:
Para evaluar el tamaño del efecto de una medida de asociación entre 2 o más variables utilizaremos el coeficiente de correlación «r».
Tenemos que contextualizar el tamaño del efecto según alguna referencia pero estos valores no deben ser arbitrarios sino que deben venir de la propia escala de medida con la que estemos trabajando.
Existen 3 métodos para la correcta interpretación del tamaño del efecto, llamadas las tres Cs:
En el contexto correcto un efecto pequeño puede ser significativo:
Esto ocurre, por ejemplo, cuando estamos probando un medicamento novedoso con implicaciones sociales importantes como en la cura del cáncer.
Una forma de interpretar los resultados de nuestra investigación es evaluar su contribución al conocimiento.
En este caso nos preguntamos si el efecto observado difiere de lo que otros investigadores han encontrado y si es así, en cuánto. Comparamos la bibliografía existente con nuestros resultados y damos explicaciones alternativas para nuestros hallazgos.
La importancia de un efecto depende de cuando ocurre, dónde ocurre y para quienes ocurre.
Este criterio establece 3 puntos de corte para interpretar el tamaño del efecto según los valores del estadístico «d» de Cohen. Sin embargo, estos cortes han sido elaborados para el mundo de la psicología y no están libres de controversia.
Cuestiones como el tamaño muestral necesario para realizar un estudio, la intepretación de los resultados, la significación estadística y práctica de nuestros resultados, dependen del tamaño del efecto. Por ello siempre debemos evaluar e informar del tamaño y dirección de los efectos estimados aún si los resultados no son significativos y si su efecto es pequeño.
Puedes informar del tamaño muestral en formato estándar (valores de correlación «r» o la «d» de Cohen, indicando claramente el tipo de medición que utiliza) o, si la variable que mides es importante en términos prácticos (e.g. número de vidas salvadas por el tratamiento), también menciona su efecto en términos no estandarizados. Esto permitirá que tus resultados sean «meta-analytically friendly«, es decir, que quién lea tu investigación sea capaz de entender el alcance de tus resultados.
En definitiva, es importante realizar investigaciones rigurosas con estimaciones precisas del tamaño del efecto para transmitir adecuadamente nuestros resultados al resto de la población. Debemos ser claros en el significado práctico de nuestras investigaciones.
En este post te he resumido las principales recomendaciones que el profesor Paul D. Ellis nos cuenta en su libro «The Essential Guide to Effect Sizes: An Introduction to Statistical Power, Meta-Analysis and the Interpretation of Research Results» sobre cómo diseñar y llevar a cabo una buena investigación, para evaluar e informar sobre nuestros resultados. Puedes ver su impresionante currículum aquí ya que es considerado uno de los estudiosos más prolíficos en el mundo de los negocios internacionales.
Y tú, ¿informas del alcance de tus resultados? ¿cómo?