Tag Archives: niveles de evidencia

¿Es la LOMCE una ley basada en evidencias?

21 Feb

Me cuento entre las personas que intentamos difundir una corriente pedagógica llamada “educación basada en evidencias” (aunque “educación basada en pruebas” podría ser una mejor traducción de lo que se propone). No creo que la difusión de sus principios sea un cambio revolucionario, pero sí que podría producir pequeñas mejoras que se vayan acumulando unas con otras.

Borrador de la LOMCE

En principio, que los políticos adopten esta perspectiva es una buena noticia. Significa que a la hora de tomar decisiones se tendrían en cuenta los resultados de las investigaciones realizadas sobre la materia que se está regulando, incluso, que si las cosas no están suficientemente claras las decisiones serían provisionales y se promovería la investigación para tener una buena guía. Desde luego en educación hay muchas cosas que están poco claras, y no estoy hablando de disquisiciones abstractas sobre principios pedagógicos, sino de algo ta cotidiano como los efectos de las tareas escolares sobre el aprendizaje, las mejoras en el rendimiento que produce la repetición de curso, o los “desdoblamientos” (dividir el aula en dos grupos). Por no hablar de cosas como el aprendizaje por proyectos, el aprendizaje basado en inteligencias múltiples, las pizarras digitales, y otras cosas que funcionan por ahí. En cuanto al tema de este blog, resulta preocupante que en 10 años los niveles de comprensión lectora evaluados en pruebas internacionales se hayan mantenido prácticamente sin cambio, a pesar de las medidas que se han tomado para mejorar la comprensión lectora.

Como decía, considero una buena noticia que las leyes educativas se basen en evidencias. Así el apartado los apartados V y VI de la exposición de motivos del borrador de la LOMCE dice:

Los cambios propuestos en nuestro sistema educativo por la LOMCE están basados en evidencias.

La reforma de la LOMCE se apoya en evidencias y recoge las mejores prácticas comparadas.

Pero la pregunta que me hago es: ¿se trata de una auténtica fundamentación en evidencias, o simplemente se están adjudicando una etiqueta que le dé un aire de seriedad y rigor? Analicemos el texto antes de juzgar si estamos ante una propuesta basada en evidencias. Lo primero será ver qué investigaciones se citan. Revisando el texto (versión 2 del anteproyecto, 03/12/12) encuentro las siguientes referencias a investigaciones, estudios y datos oficiales:

Sección V de la exposición de motivos:

  • Tasa de escolarización española.
  • Resultados de PISA.
  • Datos sobre abandono temprano (EUROSTAT 2011)
  • Proyecto de indicadores de la OCDE, para mencionar que recoge datos sobre el porcentaje de jóvenes que finalizan la educación secundaria superior.
  • Recomendaciones de la OCDE “basadas en las mejores prácticas de los paises con mejores resultados”, sin citar ningún documento concreto.
  • Estudios internacionales que “ponen de manifiesto que los países que han mejorado de forma relativamente rápida la calidad de sus sistemas educativos han implantado medidas relacionadas con la simplificación del currículo y refuerzo de los conocimientos instrumentales, la flexibilización de las trayectorias…, el desarrollo de sistemas de evaluación externa…, el incremento de la transparencia de los resultados, la promoción de una mayor autonomía y especialización de los centros docentes, la exigencia a los estudiantes, profesores y centros de la rendición de cuentas, y el incentivo del esfuerzo”, sin citar ningún estudio concreto.

Sección VII de la exposición de motivos:

  • “Recomendación reiterada de la OCDE” del aumento de la autonomía de los centros “para mejorar sus resultados, necesariamente unida a la exigencia de una mayor transparencia en la rendición de cuentas”.
  • Encuestas internacionales (no se cita cuáles) que señalan el punto anterior “como un déficit de nuestro sistema”.
  • Evidencia de que las pruebas de evaluación externa producen “un impacto de al menos 16 puntos de mejora de acuerdo con los criterios de PISA”.

Como puede verse, en las evidencias en que se apoya la LOMCE tienen un peso importante las publicaciones y estudios de la OCDE, entre las que se incluye PISA. Salvo EUROSTAT no se identifican con precisión otras fuentes.

Si se tiene en cuenta que la investigación sobre educación no se agota en los estudios internacionales y sus análisis (que en realidad son una pequeña parte de lo que conocemos sobre educación) se echa en falta información sobre el criterio seguido para seleccionar esos estudios y no otros para fundamentar las reformas. Esta crítica es mucho más importante de lo que parece, ya que en la práctica basada en evidencias la selección de fuentes tiene que ser sistemática y transparente: deben existir unos criterios claros de qué información se selecciona, de forma que cualquiera que emplee esos mismos criterios seleccione esos mismos estudios. ¿Por qué? Porque estudios, en un campo con la educación, hay muchos, y no todos obtienen los mismos resultados. No es nada extraño que en un sector de la educación se encuentre estudios con resultados positivos, resultados no significativos y resultados negativos, debido a muchos factores, como el tamaño de la muestra, los instrumentos utilizados para realizar las mediciones, el tratamiento estadístico de los datos… Si uno selecciona los que quiere, sin un método sistemática, es posible que acabe eligiendo los que apoyan su postura previa.

Algo que llama mucho la atención es  la ausencia de investigación española. El único dato doméstico es la tasa de escolarización. Y eso hace surgir bastantes dudas: ¿no existe investigación española útil para la toma de decisiones educativas?, ¿es irrelevante?, ¿es de menor calidad que los estudios internacionales?, ¿acaso las evaluaciones generales de diagnóstico (están publicadas la de 2009 y 2010) no tienen como objetivo mejorar la calidad de la educación y orientar las políticas educativas? ¿Qué hace el Instituto Nacional de Evaluación Educativa? Pero la gran pregunta es ¿la selección de evidencias sobre educación en la que se ha basado el borrador de la LOMCE es representativa de la investigación que se ha hecho sobre esos temas?

Otra cuestión muy importante es que los resultados de las evaluaciones internacionales, que parecen ser la principal fuente para fundamentar las decisiones de la LOMCE, son correlacionales: permiten establecer relaciones entre variables, pero no se puede determinar que esas relaciones sean de causa-efecto (se puede ver un ejemplo de lo mal que se pueden interpretar este tipo de resultados en la entrada “desliz del ministerio“). Sí que es cierto que el análisis de los estudios internacionales puede aproximarnos a relaciones causa-efecto si se examina el efecto que causa sobre los resultados la introducción de alguna medida. Es fácil comprender que no es lo mismo el hecho de que los países que aplican pruebas externas tengan, como media, 16 puntos más que los que no las aplican, que el hecho de que un país que no aplica pruebas externas aumente sus resultados en 16 puntos por comenzar a utilizarlas.

En la práctica basada en evidencias se considera que la mejor fuente de información son los estudios experimentales, en los que los resultados del grupo que recibe una intervención o medida son comparados con los de otro grupo que no recibe ninguna medida, o recibe una intervención alternativa, con la condición de que los participantes en esos grupos se hayan distribuido al azar. Los estándares más rigurosos pedirán también que se compruebe que la intervención se aplique con fidelidad, y que los aplicadores, los participantes y los que evalúan las mejoras desconozcan si están en el grupo experimental o en el grupo de control (eso es más fácil en medicina que en educación). El borrador de la LOMCE no hace referencia a ninguna investigación de este tipo.

Conclusión

Después de lo visto considero que la LOMCE se adjudica a sí misma, bastante a la ligera, la etiqueta de reforma basada en evidencias, por los siguientes motivos: no hay nada que indique que se haya hecho una búsqueda sistemática de evidencias. Si se ha hecho y no nos lo han contado no podemos replicar la selección de evidencias de la LOMCE porque no ha sido pública. Ni siquiera sabemos cómo han llegado a seleccionar unos resultados de las evaluaciones internacionales que se citan y no otros. No se aportan evidencias de estudios experimentales, sino que la mayor parte de las referencias son menciones a estudios internacionales en los que se compara, entre países, el rendimiento en pruebas (normalmente de comprensión lectora, matemáticas y conocimientos científicos) y se asocia ese rendimiento con variables del alumno, del entorno escolar y familiares.

El círculo virtuoso de Snowling y Hulme

26 Dic

Un círculo vicioso es una serie de acciones o hechos encadenados en la que la uno conduce a otro de modo que se repiten una y otra vez. Hay, por ejemplo un círculo vicioso en los problemas de lectura: el niño que tiene dificultades para leer no obtiene muchas cosas buenas de la lectura (no entiende bien los textos y se le llama la atención). Eso hace que pierda interés por leer. Como no tiene interés lee menos, y al leer menos su lectura no mejora mucho porque no hay suficiente práctica, de modo que sigue leyendo mal y vuelta a empezar.

Margaret Snowling (de su web en la Universidad de York)

¿Qué es un círculo virtuoso? Más o menos lo mismo, con el matiz de que en el círculo virtuoso la repetición de las actividades produce beneficios. El círculo virtuoso que proponen Margaret Snowling y Charles Hulme tiene que ver con la lectura, concretamente con la relación entre teoría y práctica. Estos investigadores de la Universidad de York han publicado recientemente un artículo titulado Evidence-based interventions for reading and language difficulties: creating a virtuous circle.

Se trata de un artículo teórico en el que comentan lo que se conoce en la actualidad acerca de la naturaleza, las causas, y los tratamientos de las dificultades de lectura infantiles. Un concepto fundamental de su exposición es el de “intervención bien fundamentada”. Para que una intervención se considere bien fundamentada debe basarse en una teoría sólida (mejor si se trata de modelos causales) que indique cómo se desarrolla una habilidad y qué se puede hacer para mejorarla en un niño que tenga dificultades para adquirirla. Pero la cosa no se para ahí. Antes de recomendar que una intervención se aplique en las escuelas es necesario que esté respaldada por la evidencia de estudios sobre su eficacia. La secuencia que proponen es que, en primer lugar, se realicen ensayos clínicos controlados y aleatorizados (diseños con grupos de control en los que los niños se asignan al azar a los grupos experimentales y de control y, preferentemente, en los que ni los alumnos ni las personas que valoran las posibles mejoras saben si un niño concreto está en el grupo experimental o no). Una vez que uno o mejor varios ensayos clínicos muestran que una intervención es eficaz se pueden comenzar a aplicar, y sería deseable que se hicieran otros estudios de seguimiento que evalúen cómo funciona la intervención en la realidad, a gran escala, en ambientes menos controlados.

Charles Hulme (de su web en la Universidad de York)

El círculo se cierra cuando la información acerca del funcionamiento real de la intervención llega a al primer punto y permite modificar y refinar la teoría que dio lugar a las recomendaciones que inspiró los ensayos que fundamentaron la intervención escolar. Así se formaría un ciclo de mejora continua.

Una buena parte del artículo se dedica a comentar este enfoque con respecto a las dificultades de aprendizaje de la lectura, pero también se habla acerca de la comprensión lectora. Según los autores, dejando de lado los problemas de comprensión ocasionados por dificultades en la descodificación, hay hipótesis sobre el origen de la mala comprensión lectora. La primera es que los problemas de comprensión se pueden remontar a dificultades anteriores con el lenguaje oral. La segunda hipótesis es que se deben a debilidades en el uso de las estrategias metacognitivas y de inferencia.

La mayor parte de la investigación sobre mejora de la comprensión lectora se ha centrado en la enseñanza de estrategias metacognitivas, pero existen razones para considerar que una intervención centrada en la mejora del lenguaje oral podría producir resultados más duraderos. Esa intervención en el lenguaje oral podría incluir actividades relacionadas con el vocabulario, el lenguaje figurado y la narración oral. Resulta interesante pensar que estas habilidades se pueden trabajar desde educación infantil.

En resumen, una mejora a gran escala de la comprensión lectora tendría los siguientes pasos:

  1. Disponer de modelos sobre la comprensión lectora y sus causas, o sus antecedentes.
  2. Diseñar programas de mejora basados en esos modelos.
  3. Comprobar la eficacia de los programas de mejora mediante estudios controlados y aleatorizados.
  4. Difundir el uso de los programas que hayan obtenido resultados positivos.
  5. Supervisar la eficacia de los programas en la práctica real.
  6. Controlar la existencia de grupos de alumnado que no obtengan mejoras con los programas (alumnos resistentes a la intervención).
  7. Utilizar los datos extraídos de los estudios y la supervisión para mejorar los modelos de comprensión lectora.

La propuesta de Snowling y Hulme es muy interesante, pero creo que necesita mayor desarrollo para poderse aplicar. Por una parte es necesario establecer el “quién”. En algunos casos resulta fácil: es muy probable que los modelos los construyan los investigadores o científicos y que el uso real de los programas corresponda al profesorado. Parece sensato pensar que los ensayos clínicos corresponderán a los investigadores, pero hay bastantes dificultades prácticas para realizarlos.

Normalmente los investigadores no tienen acceso directo al alumnado. Pueden trabajar con voluntarios que acudan a los centros de investigación, pero entonces se está valorando una muestra sesgada. Realizar una investigación en un colegio supone un esfuerzo extra en la gestión de permisos, sobre todo de las familias de los alumnos, y la organización escolar por aulas, con un horario poco flexible, encaja muy mal con la asignación al azar de los alumnos a los distintos tratamientos.

Otro punto en el que se puede romper el ciclo es la difusión de los resultados, ya que la difusión en medios especializados tiene poca incidencia en las decisiones de las administraciones educativas y del profesorado. Una forma radical de mejorar esto es al estilo de Estados Unidos, con el acta No Child Left Behind, que destina los fondos federales a programas escolares basados en la investigación científica, algo que obliga a los colegios a buscar esa información y a la administración a facilitarla.

La supervisión de los programas podría ser relativamente sencilla, ya que en los colegios se recoge una cantidad inmensa de información sobre el rendimiento de los alumnos. El problema es que hace falta alguien que seleccione y analice la información pertinente.

Por último, el uso de los datos para mejorar los modelos es algo común en el caso de investigaciones controladas, pero no suele ser habitual utilizar datos escolares para contrastar modelos psicolingüísticos.

¿Qué son los niveles de evidencia?

11 Nov

Para que la intervención sobre la comprensión lectora esté basada en evidencias es necesario saber qué es una evidencia y qué tipos de evidencias existen. Una evidencia es cualquier información que nos indica que un método de mejora de la comprensión resulta eficaz, o que es mejor que otro. Tal vez, la forma más primitiva de evidencia sea la intuición: algo me dice que la mejor forma de actuar es esta, pero no sé justificarlo o explicarlo. Cuando no existen evidencias procedemos por azar.

Otro nivel de evidencia son las recomendaciones de expertos. Al tratarse de gente con experiencia en el trabajo o el estudio de la comprensión lectora, suponemos que sus recomendaciones están mejor fundamentadas que las intuiciones personales. Con los expertos tenemos dos problemas: el primero es lo difícil que resulta, a veces, determinar quién es un experto en un campo, y el segundo es que los expertos se equivocan a veces (ejemplo: grandes errores de científicos famosos). Bueno, hay otro problema: los expertos no se suelen poner de acuerdo, salvo que existan evidencias de tipo superior.

Así pasamos al nivel de evidencia que proporciona la investigación. Puede parecer que aquí se acaba todo, y que, si la ciencia muestra que hay formas eficaces de mejorar la comprensión lectora, las utilizamos y ya está. Pero lo cierto es que no todas las evidencias derivadas de la investigación tienen el mismo rango.

Dibujo del ilustrador Santy Gutiérrez

Aunque en la divulgación es común leer o escuchar “un estudio muestra que”, “científicos de… han encontrado que…”, “un estudio demuestra…”, en ciencia es difícil encontrar tales niveles de certeza, y en la investigación pedagógica, menos, por el tipo de estudios que se suelen realizar. No es lo mismo un estudio que relaciona datos que un estudio experimental, pero también hay que tener en cuenta el tamaño de la muestra con el que se realizan estos estudios, la fiabilidad de las pruebas o tests que se emplean, y otros factores que pueden afectar a la calidad de una investigación.

También es común encontrarse con una investigación que nos da un resultado, y luego otra que nos da un resultado distinto, y otra con un resultado de signo contrario,… dando lugar a la sensación de que nos toman el pelo. Afortunadamente, existen técnicas de revisión sistemática y metanálisis que permiten organizar todas estas informaciones y dar un resultado general razonado. Las investigaciones experimentales de alta calidad y los metanálisis, sobre todo si se hacen con investigaciones de alta calidad, nos proporcionan los mejores niveles de evidencia para la toma de decisiones.