Desliz del ministerio: la correlación no es causalidad

La nota de prensa con la que el Ministerio de Educación presentó los resultados de la evaluación general de diagnóstico 2010 dice:

Ni el centro elegido, ni la repetición de curso, ni la comunidad autónoma en la que se viva: lo que más determina el éxito escolar son las propias expectativas académicas del alumnado, seguidas de variables como el nivel de estudios de los padres y del número de libros que hay en casa. Así se desprende de la Evaluación General de Diagnóstico 2010, realizada entre estudiantes de 2º de ESO de las 17 comunidades autónomas españolas y las ciudades autónomas de Ceuta y Melilla.

Mario Bedera presentando los resultados de la evaluación (de la nota de prensa del ministerio)

Vaya por delante que nadie está libre de error y que, sin ir más lejos leyendo con atención estas cosas que escribo seguro que se pueden encontrar meteduras de pata de distintos calibres. Pero, cuando un error puede llevar a adoptar decisiones incorrectas creo que es necesario señalarlo. En este caso, se trata de problema bastante frecuente en investigación: confundir la correlación con la causalidad.

En la evaluación de diagnóstico se han evaluado los resultados de los alumnos en cuatro competencias y se han tomado, mediante cuestionarios, datos de los alumnos y de los centros en los que estudian. Analizando todo esa información mediante correlaciones o mediante análisis de regresión, se puede ver cómo hay relación entre los resultados de los alumnos y otras variables, pero este método de estudio no permite establecer qué variables son causas y cuáles son efectos.

El ejemplo que nos da el Ministerio de Educación es muy bueno: las espectativas del alumnado. La correlación entre espectativas y resultados entre la prueba de competencia lingüística es… ¡vaya!, el informe no nos da ese dato. Pero sí que ofrece un gráfico en el que se aprecia que hay 113 puntos de diferencia entre los resultados de los que solo esperan terminar los estudios obligatorios y los resultados de los que esperan graduarse en la universidad. Es más de una desviación típica, así que se puede intuir que la correlación entre expectativas académicas del alumnado y rendimiento en competencia lingüística es grandísima, pero ¿son esas expectativas lo que determina el rendimiento, tal como nos dice el ministerio? Hay una interpretación alternativa muy verosímil y es que los alumnos ajustan sus expectativas a sus resultados. Supongamos que los alumnos con menor competencia lingüística obtienen más suspensos que sus compañeros. Es probable que piensen que su futuro no pasa por graduarse en filosofía, y, con cierta cantidad de suspensos sepan que ni siquiera van a poder acceder a enseñanzas medias de formación profesional al terminar la ESO. Por otra parte no hay nada sorprendente en que el alumno que obtiene resultados altos esté pensando en acudir a la universidad y realizar estudios superiores.

Del mismo modo que los datos relacionales recogidos en la evaluación no permiten decir que las expectativas altas sean causa del buen rendimiento, tampoco se puede afirmar que buen rendimiento sea la causa de las expectativas altas. Para llegar a esas conclusiones habría que utilizar otros métodos de investigación.

¿Qué consecuencias puede tener este error? Si aceptamos que las expectativas del alumnado son lo que más determina el nivel de competencia que alcanza, para qué vamos a desperdiciar recursos interviniendo sobre otros factores como la formación del profesorado, los contenidos de los programas, o la atención a la diversidad (la verdad es que esos tres no han sido analizados en la evaluación), el clima escolar, o la distribución del alumnado extranjero. Basta con convencer al alumnado o emplear técnicas de “coaching” para que aspiren a alcanzar el máximo nivel de estudios.

Cuando escribo esto la temperatura en la calle es de 6 grados. Sumergiré el termómetro en agua caliente hasta que marque 30º y saldré a la calle en camiseta de tirantes. Va a ser una mañana calurosa.

Queda otra cosa que no me acaba de encajar y es que, según la nota de prensa, tras las expectativas de los alumnos, lo que más determina el éxito escolar es el nivel de estudios de los padres y el número de libros que hay en casa.

Intentando ver si hay otras variables que tengan mayor relación con el rendimiento de los alumnos me doy cuenta de que en el informe se dan resultados por alumnos, por centros y por comunidades autónomas. A veces se dan diferencias de medias, a veces el porcentaje de varianza del rendimiento explicado por una variable y a veces el coeficiente de determinación (¿igual han establecido que hay ciertas variables que determinan el rendimiento de los alumnos por el nombre ese de coeficiente de determinación?). Tras una hora y media dando vueltas a los resultados dejo para otras personas más capaces y pacientes la tarea de desentrañar todo eso.

También introduzco correcciones en mi entrada anterior. Me he dado cuenta de que me había equivocado en algunas cosas. Errare humanum est.

Información adicional

· La nota de prensa del ministerio.

Anuncios

Deja un comentario

Archivado bajo Curiosidades, Evaluaciones nacionales

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s