Me cuento entre las personas que intentamos difundir una corriente pedagógica llamada «educación basada en evidencias» (aunque «educación basada en pruebas» podría ser una mejor traducción de lo que se propone). No creo que la difusión de sus principios sea un cambio revolucionario, pero sí que podría producir pequeñas mejoras que se vayan acumulando unas con otras.
Borrador de la LOMCE
En principio, que los políticos adopten esta perspectiva es una buena noticia. Significa que a la hora de tomar decisiones se tendrían en cuenta los resultados de las investigaciones realizadas sobre la materia que se está regulando, incluso, que si las cosas no están suficientemente claras las decisiones serían provisionales y se promovería la investigación para tener una buena guía. Desde luego en educación hay muchas cosas que están poco claras, y no estoy hablando de disquisiciones abstractas sobre principios pedagógicos, sino de algo ta cotidiano como los efectos de las tareas escolares sobre el aprendizaje, las mejoras en el rendimiento que produce la repetición de curso, o los «desdoblamientos» (dividir el aula en dos grupos). Por no hablar de cosas como el aprendizaje por proyectos, el aprendizaje basado en inteligencias múltiples, las pizarras digitales, y otras cosas que funcionan por ahí. En cuanto al tema de este blog, resulta preocupante que en 10 años los niveles de comprensión lectora evaluados en pruebas internacionales se hayan mantenido prácticamente sin cambio, a pesar de las medidas que se han tomado para mejorar la comprensión lectora.
Como decía, considero una buena noticia que las leyes educativas se basen en evidencias. Así el apartado los apartados V y VI de la exposición de motivos del borrador de la LOMCE dice:
Los cambios propuestos en nuestro sistema educativo por la LOMCE están basados en evidencias.
La reforma de la LOMCE se apoya en evidencias y recoge las mejores prácticas comparadas.
Pero la pregunta que me hago es: ¿se trata de una auténtica fundamentación en evidencias, o simplemente se están adjudicando una etiqueta que le dé un aire de seriedad y rigor? Analicemos el texto antes de juzgar si estamos ante una propuesta basada en evidencias. Lo primero será ver qué investigaciones se citan. Revisando el texto (versión 2 del anteproyecto, 03/12/12) encuentro las siguientes referencias a investigaciones, estudios y datos oficiales:
Sección V de la exposición de motivos:
- Tasa de escolarización española.
- Resultados de PISA.
- Datos sobre abandono temprano (EUROSTAT 2011)
- Proyecto de indicadores de la OCDE, para mencionar que recoge datos sobre el porcentaje de jóvenes que finalizan la educación secundaria superior.
- Recomendaciones de la OCDE «basadas en las mejores prácticas de los paises con mejores resultados», sin citar ningún documento concreto.
- Estudios internacionales que «ponen de manifiesto que los países que han mejorado de forma relativamente rápida la calidad de sus sistemas educativos han implantado medidas relacionadas con la simplificación del currículo y refuerzo de los conocimientos instrumentales, la flexibilización de las trayectorias…, el desarrollo de sistemas de evaluación externa…, el incremento de la transparencia de los resultados, la promoción de una mayor autonomía y especialización de los centros docentes, la exigencia a los estudiantes, profesores y centros de la rendición de cuentas, y el incentivo del esfuerzo», sin citar ningún estudio concreto.
Sección VII de la exposición de motivos:
- «Recomendación reiterada de la OCDE» del aumento de la autonomía de los centros «para mejorar sus resultados, necesariamente unida a la exigencia de una mayor transparencia en la rendición de cuentas».
- Encuestas internacionales (no se cita cuáles) que señalan el punto anterior «como un déficit de nuestro sistema».
- Evidencia de que las pruebas de evaluación externa producen «un impacto de al menos 16 puntos de mejora de acuerdo con los criterios de PISA».
Como puede verse, en las evidencias en que se apoya la LOMCE tienen un peso importante las publicaciones y estudios de la OCDE, entre las que se incluye PISA. Salvo EUROSTAT no se identifican con precisión otras fuentes.
Si se tiene en cuenta que la investigación sobre educación no se agota en los estudios internacionales y sus análisis (que en realidad son una pequeña parte de lo que conocemos sobre educación) se echa en falta información sobre el criterio seguido para seleccionar esos estudios y no otros para fundamentar las reformas. Esta crítica es mucho más importante de lo que parece, ya que en la práctica basada en evidencias la selección de fuentes tiene que ser sistemática y transparente: deben existir unos criterios claros de qué información se selecciona, de forma que cualquiera que emplee esos mismos criterios seleccione esos mismos estudios. ¿Por qué? Porque estudios, en un campo con la educación, hay muchos, y no todos obtienen los mismos resultados. No es nada extraño que en un sector de la educación se encuentre estudios con resultados positivos, resultados no significativos y resultados negativos, debido a muchos factores, como el tamaño de la muestra, los instrumentos utilizados para realizar las mediciones, el tratamiento estadístico de los datos… Si uno selecciona los que quiere, sin un método sistemática, es posible que acabe eligiendo los que apoyan su postura previa.
Algo que llama mucho la atención es la ausencia de investigación española. El único dato doméstico es la tasa de escolarización. Y eso hace surgir bastantes dudas: ¿no existe investigación española útil para la toma de decisiones educativas?, ¿es irrelevante?, ¿es de menor calidad que los estudios internacionales?, ¿acaso las evaluaciones generales de diagnóstico (están publicadas la de 2009 y 2010) no tienen como objetivo mejorar la calidad de la educación y orientar las políticas educativas? ¿Qué hace el Instituto Nacional de Evaluación Educativa? Pero la gran pregunta es ¿la selección de evidencias sobre educación en la que se ha basado el borrador de la LOMCE es representativa de la investigación que se ha hecho sobre esos temas?
Otra cuestión muy importante es que los resultados de las evaluaciones internacionales, que parecen ser la principal fuente para fundamentar las decisiones de la LOMCE, son correlacionales: permiten establecer relaciones entre variables, pero no se puede determinar que esas relaciones sean de causa-efecto (se puede ver un ejemplo de lo mal que se pueden interpretar este tipo de resultados en la entrada «desliz del ministerio«). Sí que es cierto que el análisis de los estudios internacionales puede aproximarnos a relaciones causa-efecto si se examina el efecto que causa sobre los resultados la introducción de alguna medida. Es fácil comprender que no es lo mismo el hecho de que los países que aplican pruebas externas tengan, como media, 16 puntos más que los que no las aplican, que el hecho de que un país que no aplica pruebas externas aumente sus resultados en 16 puntos por comenzar a utilizarlas.
En la práctica basada en evidencias se considera que la mejor fuente de información son los estudios experimentales, en los que los resultados del grupo que recibe una intervención o medida son comparados con los de otro grupo que no recibe ninguna medida, o recibe una intervención alternativa, con la condición de que los participantes en esos grupos se hayan distribuido al azar. Los estándares más rigurosos pedirán también que se compruebe que la intervención se aplique con fidelidad, y que los aplicadores, los participantes y los que evalúan las mejoras desconozcan si están en el grupo experimental o en el grupo de control (eso es más fácil en medicina que en educación). El borrador de la LOMCE no hace referencia a ninguna investigación de este tipo.
Conclusión
Después de lo visto considero que la LOMCE se adjudica a sí misma, bastante a la ligera, la etiqueta de reforma basada en evidencias, por los siguientes motivos: no hay nada que indique que se haya hecho una búsqueda sistemática de evidencias. Si se ha hecho y no nos lo han contado no podemos replicar la selección de evidencias de la LOMCE porque no ha sido pública. Ni siquiera sabemos cómo han llegado a seleccionar unos resultados de las evaluaciones internacionales que se citan y no otros. No se aportan evidencias de estudios experimentales, sino que la mayor parte de las referencias son menciones a estudios internacionales en los que se compara, entre países, el rendimiento en pruebas (normalmente de comprensión lectora, matemáticas y conocimientos científicos) y se asocia ese rendimiento con variables del alumno, del entorno escolar y familiares.
Etiquetas: LOMCE, niveles de evidencia
Comprensión lectora basada en evidencias 