Cualquier investigador habrá escuchado hablar alguna vez de las técnicas paramétricas clásicas (la t de Student, el ANOVA, la regresión por mínimos cuadrados, etc.). Son el tipo de pruebas más utilizado aunque requieren que se cumplan ciertos supuestos (como el de normalidad y homogeneidad de varianza) para que realmente generen buenos resultados.
Cuando los datos no cumplen con estos supuestos disminuye la capacidad de detectar efectos reales (afecta al p-valor, al tamaño del efecto y a los intervalo de confianza estimados).
¡Toda la interpretación de tus datos puede ser errónea!.
Hoy te contamos cómo resolver estos problemas.
Máster de Estadística Aplicada con R Software 8ª edición 2019 (Reserva de plaza)
Revisemos los principales problemas de los métodos paramétricos clásicos para entender su importancia.
I. Los datos reales suelen ser multimodales, asimétricos y con largas colas en su distribución de valores, por lo que raramente son normales.
II. La igualdad de varianza poblacional (i.e. homogeneidad de varianza u homocedasticidad) suele no cumplirse, debido a la naturaleza de los diseños experimentales y de las muestras.
III. Variabilidad inherente a los datos. Los grupos definidos por un factor pre-existente pueden tener varianzas diferentes. Por ejemplo, la respuesta a un test cognitivo es más variable en personas mayores que en los jóvenes. También puede ocurrir que una variable experimental cause diferencias en la variabilidad entre grupos. Por ejemplo, la respuesta de los sujetos ante un nuevo fármaco pueden generar gran variabilidad en el grupo experimental, mientras que el grupo control tendrá una respuesta bastante homogénea; aún cuando en el pre-test los grupos fueran homogéneos en su respuesta.
El incumplimiento de la normalidad y homogeneidad de varianza puede tener gran influencia en los resultados de las pruebas paramétricas clásicas, en particular en las probabilidades de error tipo I y tipo II.
Estos son los 6 errores más comunes que cometen los investigadores al usar las pruebas de hipótesis clásicas:
1. Falta de corroboración de los supuestos clásicos. Por olvido o por desconocimiento. Además, softwares como el SPSS no son muy útiles para ello. Por ejemplo, cuando los tamaños muestrales son pequeños, el test de Levene para la homogeneidad de varianza, puede dar resultados engañosos pero no es fácil encontrar alternativas en SPSS. También, las pruebas para corroborar los supuestos tienen sus propios supuestos. Las pruebas de normalidad asumen homocedasticidad, y las pruebas de homocedasticidad asumen normalidad.
No se debemos utilizar solamente pruebas estadísticas para corroborar los supuestos, tendremos que ayudarnos con gráficos para determinar qué ocurre con nuestros datos.
2. Argumento erróneo sobre la resistencia. Se suele decir que las pruebas paramétricas clásicas son resistentes a las variaciones en los supuestos de normalidad y homocedasticidad, negando así la necesidad de utilizar procedimientos alternativos. Sin embargo, esta afirmación se basa en estudios que solo analizan el impacto de pequeñas desviaciones de la normalidad y homocedasticidad, no en grandes desviaciones que son las más frecuentes en los datos reales. Incluso estos estudios suelen analizar dichos supuestos de manera aislada cuando en la práctica los dos supuestos se incumplen al mismo tiempo.
Las pruebas paramétricas clásicas son resistentes solo en un número limitado de circunstancias, no para la mayoría de ellas. Además, aún si un investigador insiste en que las pruebas clásicas son resistentes, debemos recordarle que las pruebas robustas son más potentes.
3. Incorrecta utilización de las transformaciones. Algunos investigadores suelen optar por transformar sus datos para cumplir los supuestos clásicos. Sin embargo, las transformaciones son problemáticas: i) a menudo fallan en conseguir la normalidad y homocedasticidad, ii) no se ocupan de los outliers, iii) pueden reducir la potencia, iv) dificultan la interpretación de los resultados ya que los hallazgos se basan en la transformación, no en los datos originales. Recomendamos utilizar los métodos robustos en lugar de utilizar los métodos clásicos con datos transformados.
4. Utilización errónea de las pruebas no-paramétricas clásicas. Estas pruebas no son robustas ante la hetorocedasticidad, y solo son útiles para análisis simples (a no ser que se incluyan técnicas de remuestreo o bootstrap).
5. Conceptos erróneos acerca de la disponibilidad los métodos modernos robustos. Como no están disponibles de manera sencilla en los softwares más comerciales (SPSS, SAS, etc.) no los uso. ¡Error! Ya existen complementos en estos programas y además están disponibles en softwares gratuitos y avanzados como R.
6. Argumento erróneo sobre que los métodos modernos descartan información valiosa. Vale, entiendo que sea contraintuitivo que las pruebas más precisas sean aquellas que eliminan información (outliers). Por ello hay que ser cuidadosos en evaluar primero a qué se debe la presencia de casos atípicos, pero si su presencia no se explica por otras variables no consideradas, tiene sentido aplicar técnicas robustas para disminuir su influencia en nuestros resultados.
En muchas ocasiones no se cumplen los supuestos de la estadística clásica (normalidad y homocedasticidad) y por ende, las técnicas paramétricas no nos son útiles. En estos casos tenemos 3 posibles soluciones:
Los métodos estadísticos robustos son técnicas modernas que hacen frente a estos problemas. Son capaces de disminuir la tasa de error tipo I y también mejorar la potencia de la prueba cuando los datos no son normales ni homogéneos. Además, son sencillos y se encuentran disponibles en softwares gratuitos como R.
Razones para utilizar pruebas robustas
Principalmente porque no los conocen. En parte porque no aparecen en los libros de texto clásicos y en parte porque la actualización curricular en métodos estadísticos es pobre.
La mayoría de los investigadores no son conscientes de las serias limitaciones de los métodos clásicos, no saben cómo comprobar los supuestos de la estadística clásica y/o no están familiarizados con las alternativas modernas.
La mayoría de los investigadores no son conscientes de las serias limitaciones de los métodos clásicos, no saben cómo comprobar sus supuestos y/o no están familiarizados con alternativas modernas como los métodos robustos.
Los métodos robustos modernos son diseñados para obtener un buen desempeño cuando los supuestos clásicos se cumplen y también cuando se incumplen. Por lo tanto, hay poco que perder y mucho que ganar a la hora de utilizar estas técnicas en lugar de las clásicas.
Los métodos robustos modernos son diseñados para obtener un buen desempeño cuando los supuestos clásicos se cumplen y también cuando se incumplen.
Y ahora te toca actuar a ti, ¿cómo vas a realizar tus próximos análisis de datos?
Este texto es una adaptación del artículo: Erceg-Hurn, D. M., & Mirosevich, V. M. (2008). Modern robust statistical methods: an easy way to maximize the accuracy and power of your research. American Psychologist, 63(7), 591.
Como ya expuse en este foro, al revisar los bancos de datos resultantes de 27 años de de diseño experimental, me encontré con muchos casos de falta de normalidad y de homogeneidad de varianza. Sin embargo, los ensayos se resolvieron en su día con métodos paramétricos. Realizar por aquel entonces un test de Shapiro-Wiljs y otro de Levene con una calculadora, llevaba una mañana de trabajo. No se podía resistir la tentación de aceptar que la distribución normal se llama así porque es la más habitual en la naturaleza. Y, que la varianza, por tratar con la variabilidad, se vuelve homogénea.
Pero, ¡ay!, no es así.
¿Todo cuanto se hizo hasta ahora está mal? No. Pero la probabilidad de que, en una experiencia concreta, los riesgos de error tipo I y tipo II fueran superiores a lo planificado es más elevada de lo que nos gustaría.
¿Cómo proceder de ahora en adelante?
Me convence la idea de los métodos robustos. Pero, cuidado, poniendo bien las cosas en su sitio.
Por más que me digan que para protegerse de los outliers hay que descartar el 10% de los valores más altos y el otro tanto de los más bajos, cuando el análisis químico de una muestra supera los 500 €, me niego a ello. Sólo lo haré cuando la magnitud de las diferencias con el resto de los demás valores, bien a ojo o tras realizar el Test de Grubbs, me diga que, efectivamente, se trata de observaciones anómalas. Y, me guardaré mucho de tirar esos resultados al cesto de los papeles. Irán a una carpeta de outliers, de la que se informará debidamente en la publicación a que haya lugar, esperando que con el tiempo y la colaboración de otros se reúna una población 1- épsilon de muestras A habituales y otra épsilon de muestras B outliers.
Salvo esa situación, me guardaré mucho de que el recorte del 10% de las muestras me obligue a eliminar nada. Reduciré ese recorte al 5, 1, 0.1, o a lo que haga falta para no tenga que desperdiciar nada.
El análisis de los datos lo iniciaré con el procedimiento GFD de Friedrich et al (2017), que no me exige normalidad, ni homogeneidad de varianza, ni recortar datos. Pero, !ay!. Sólo me permite completarlo en modelos de análisis de varianza con un máximo de dos factores cruzados o jerarquizados. Si hay tres factores, puedo calcular el valor de F y saber si hay alguna diferencia significativa, pero no puedo efectuar separación me medias. Me quedo a medio camino.
Los autores citados esperan llegar a ofrecer soluciones para análisis de más de dos factores, regresión, covarianza, modelos mixtos, etc. Pero, claro, con el tiempo. Y dinero, que ojalá no les falte.
Mientras tanto, están los modelos robustos del software WRS2 (r project). El recorte de las medias no es obligatorio.
Pero, tampoco podemos llevar a cabo todo lo que precisamos. El análisis de covarianza está limitado a un máximo de un factor con dos niveles y de una covariable.
¿Cuando dispondremos del equivalente al modelo lineal general de la estadística paramétrica, para poder ejecutar las combinaciones de factores y covariables que precisemos, sin precisar normalidad ni homocedasticidad? Ni recorte de datos, por supuesto.
Esperémoslo humildemente. Pero, no va a ser para mañana.
Mientras tanto, recomiendo:
– Usar el procedimiento GFD hasta donde se pueda llegar
– Completarlo con el WRS2 también hasta donde se pueda llegar
– Las problemas actualmente insolubles de efectos aleatorios y combinaciones de factores de efecto fijo * covariables tratar de solucionarlos traduciéndolos a inclusiones en el error o a un nuevo efecto fijo que sintetice lo que no podemos procesar por separado
– Y, ser humildes, como antes dije. Los profesionales de la estadística tienen su papel en el mundo científico. No debemos dejar de consultarles. Aunque a veces sus explicaciones nos resulten inintelegibles, sigamos siendo humildes y pidamos que nos lo aclaren, sin expresiones matemáticas. Y, aceptemos que la estadística no es Lourdes.
Me encantaría participar más en este foro y comentar problemas con todos vosotros.
Saludos cordiales.
Alejandro Argamentería
çepsikon
Tras dar muchas vueltas al peoblema de la falta
Muchas gracias por tu aporte, Alejandro.
Saludos
Hola, gracias por el blog.
He realizado los análisis estadísticos de un estudio cuasiexperimental con 400 niños de educación primaria (grupo control y experimental, con una medida pre y post en cada uno). Es decir, un modelo factorial 2×2 (tiempo * tratamiento).
Prácticamente en todas las variables no hay distribución normal, y en muchas tampoco se cumple homocedasticidad (previamente he quitado los outliers con el método «explorar» del SPSS, y he probado a hacer transformaciones pero no arreglan mucho y surgen nuevos problemas, como el de interpretación que comentas).
– ¿Tendrías alguna fuente bibliográfica relevante en ciencias sociales que yo pudiera citar en el estudio que estoy elaborando, que justifique que se puedan hacer anovas aunque no se cumplan los supuestos?
– Un compañero matemático me ha comentado que para conseguir robustez, en los casos en los que no se cumplan los supuestos, puedo presentar en mi estudio que he hecho la prueba paramétrica y la homóloga no paramétrica y que conseguido en ambos lo mismo, estos es, resultados no significativos en ambos, o resultados significativos en ambos. ¿Esto aportaría robustez? ¿cómo puedo justifcar documentalmente este procedimiento?
– ¿Cómo saber qué prueba robusta concreta (según el post) debo aplicar a mis datos? Desconozco totalmente el tema, y he leído sobre todo de los procedimientos clásicos.
Muchas gracias, de verdad.
Hola Alejandro,
El ANOVA es bastante robusto ante la falta de normalidad, salvo que estés trabajando con una variable que por naturaleza no sea normal, como una escala de likert. El tema de la homocedasticidad es más complejo, pero deberías primero preguntarte por qué se da, tal vez puedas solucionarlo con alguna transformación previa de los datos, por ejemplo, o en el caso más complicado podrías modelar específicamente la variabilidad de los datos mediante un modelo mixto. También ten cuidado con «quitar» los outliers, solo debes quitar datos cuando sepas que son errores, sino deberías tomar otras alternativas como optar por técnicas no paramétricas o robustas.
Algunas referencias que te pueden interesar:
https://www.sciencedirect.com/science/article/pii/S0169716180010097
http://www.psicothema.com/pdf/4434.pdf
https://www.researchgate.net/profile/Matthias_Ziegler/publication/232449663_Is_It_Really_Robust/links/0c960524d58cfa0644000000.pdf
https://www.frontiersin.org/articles/10.3389/fpsyg.2013.00370
En caso de que no se cumplan los supuestos y los análisis descriptivo y el contexto, indiquen que debes aplicar técnicas no paramétricas y/o robustas, simplemente puedes argumentar los beneficios de estas técnicas. Para métodos robustos utiliza referencias de Rand Wilcox, en el caso de las no paramétricas dependerá de qué técnica utilices, ve a sus propias referencias.
En este post puedes ver qué técnica robusta aplicar en cada caso: https://www.maximaformacion.es/blog-dat/guia-para-encontrar-tu-prueba-estadistica/
Saludos