Evidencias para la ESSA

Los lectores más familiarizados con la educación especial de Estados Unidos ya habrán tenido noticias de la existencia de una ley llamada No Child Left Behind (NCLB). Esa ley fue reemplazada en diciembre de 2015 por Every Student Succeeds Act (ESSA). Al igual que sucedía en la NCLB, la ESSA promueve la aplicación de programas basados en evidencias en educación.

La aplicación seria de esta directriz requiere que las personas que diseñan los programas escolares y el profesorado tengan acceso a información sobre la eficacia de los distintos métodos educativos. Por eso son muy importantes las agencias que revisan y analizan la información procedente de la investigación para transformarla en informes o guías para el profesorado.

Evidence for ESSA es una web que ofrece información de este tipo. Está vinculada al Center for Research and Reform in Education (CRRE) de la Universidad Johns Hopkins. No se trata, por tanto, de una agencia oficial, es decir, dependiente del estado. Tampoco se trata de ninguna novedad, porque el CRRE ya mantenía una web sobre evidencias en educación llamada Best Evidence Encyclopedia que sigue estando accesible.

Actualmente, la web tiene dos secciones principales: los programas para la enseñanza de matemáticas y los programas de lectura. En cada uno de ellos se distingue entre la educación elemental (infantil y primaria) y la media y superior (secundaria y bachillerato).

Los programas de lectura

Mientras escribo esta entrada, se ofrece información sobre 54 programas de lectura destinados a la educación infantil y primaria y 19 programas para educación secundaria y bachillerato.

Los programas se pueden clasificar según:

• Destinatarios: toda la clase, lectores con dificultad, alumnos con lengua materna distinta del inglés.
• Nivel de evidencia: fuerte, moderado, prometedor (son tres de los cuatro niveles propuestos en la ESSA).
• Cursos de aplicación.
• Tipo de centro: urbano, suburbano, rural, sin especificar.
• Grupos de destinatarios.
• Características del programa.

De cada programa se proporcionan datos prácticos como el contacto con sus editores o promotores, el precio y una descripción. También se da información sobre el número de estudios con que ha sido evaluado, el número de participantes y el tamaño del efecto que produce. Los visitantes de la web pueden introducir comentarios sobre los distintos programas.

Anuncio publicitario

Métodos de mejora de la comprensión en español y basados en evidencias

Casi por sorpresa la revista Investigaciones Sobre Lectura ha publicado un trabajo que presenté en el II congreso internacional virtual de educación lectora. El título es ¿existen métodos de mejora de la comprensión lectora en español y basados en evidencias?

Para quien se quiera ahorrar la lectura del trabajo diré que la respuesta es «no». Me explico, en este trabajo se analizaron los métodos de mejora de la comprensión lectora localizados en el único meta-análisis sobre mejora de la comprensión lectora en español que existe por el momento. El análisis se realizó aplicando los criterios de la agencia What Works Clearinghouse, que es un organismo muy riguroso para la valoración de intervenciones y métodos educativos.

Ninguno de los métodos localizados alcanzó la mejor calificación, que es «con efectos positivos». Cuatro métodos se valoraron como «con efectos potencialmente positivos»:

• El método de Emilio Sánchez y colaboradores (1989): Procedimientos para instruir en la comprensión de textos.
• El propuesto en la tesis de Nuria Carriedo (1992): Programa de instrucción para formar a los profesores en la enseñanza de estrategias de comprensión de las ideas principales en el aula.
• El propuesto en la tesis de Juan Antonio Ramos (1998): Enseñanza de la comprensión lectora a personas con déficits cognitivos.
• El de Ponce, López y Mayer (2012): Instructional effectiveness of a computer-supported program for teaching reading strategies.

Todos ellos tienen en común que son programas de entrenamiento de estrategias de comprensión.

Invito a leer el artículo a quien quiera más información sobre los niveles de evidencias que respaldaban a cada uno de estos métodos y otros métodos que fueron calificacos como «sin efectos apreciables» o «con efectos potencialmente negativos».

Sobre las intervenciones para mejorar la lectura

¿Qué sistemas son eficaces para intervenir en problemas de lectura, y cuáles prometen más que lo que demuestran?

Ya sé que no todo el mundo tiene tiempo para ver un vídeo que dura dos horas largas, pero seguro que a mucha gente le interesa, así que enlazo esta conferencia de mi compañero Gerardo Aguado, titulada «Intervención: la Oferta Metodológica», en la que se revisan varios de los «tratamientos alternativos» más extendidos para la dislexia. Para quien tenga menos tiempo, es posible consultar la presentación que utilizó, que incluye mucha información en las diapositivas, de modo que es muy comprensible, aun sin la explicación que la acompañaba.

En resumen, que mucha de la «neuro-pseudociencia» actual (con todo mi respeto a los verdaderos neurólogos y neuropsicólogos) tiene muy poco de ciencia, al menos en su aplicación al tratamiento de los problemas de lectura. Al hablar de pseudociencia me refiero a intervenciones que se presentan como basadas en la ciencia, normalmente en el conocimiento del cerebro o de los procesos neurológicos, pero no están respaldadas por evidencias científicas de buen nivel. Muchas de estas intervenciones se están abriendo un hueco en la escuela, aprovechando que existe una moda de innovación escolar superficial, es decir, no basada en los datos y en la investigación, sino en la estética y en la atracción de clientes.

Una de las razones por las que el profesor Aguado señala que no han desaparecido este tipo de tratamientos, es que la información que nos podría alertar sobre su ineficacia, y, en algunos casos, la tomadura de pelo que pueden llegar a ser, está publicada en medios muy especializados que la mayor parte de la gente no lee, mientras que la información favorable se encuentra en blogs, foros y medios generalistas que tienen mucho más impacto.

Pues nada, como tengo un blog que tiene como objetivo la divulgación de información científica sobre la lectura, aquí está esta entrada. A veces estas cosas atraen comentarios y discusiones de lo más variopinto, así que mis reglas son:

1. El que propone algo es el que tiene que demostrarlo proporcionando las evidencias pertinentes. Por ejemplo, si alguien piensa que el método Tomatis paliaría un tercio del fracaso escolar (la fuente original dice que lo reduciría a la mitad. No, no pienso contribuir al éxito de los medios que lo propagan dando enlaces), tendrá que proporcionar los datos. No basta con llevar bata blanca, o decir que se aplica con mucho éxito en las escuelas de Polonia.
2. Existen distintos niveles de evidencias. Los niveles superiores son más fiables que los inferiores, y lo de «existe un estudio que…» es muy arriesgado, ya que el error de medida, las muestras pequeñas, y otras variables que influyen en los resultados pueden hacer que un estudio en concreto proporcione casi cualquier resultado. Lo que perseguimos es algo como «tras ver todos los estudios que se han realizado en este campo…» o «considerando los estudios más fiables sobre el tema, realizados por distintos equipos de investigación…». Igual no podemos ponernos de acuerdo al cien por cien sobre qué es un estudio fiable, pero está clarísimo que hay determinadas condiciones que ayudan a ello.
3. Aunque parezca muy convincente lo de «a mi hijo le ha ido muy bien con…», o «conozco a alguien que…», es válido para su hijo o para su vecino, no para la población general, por que, ¿qué pasa si yo conozco a uno que le ha ido mal?
4. Dos páginas de este blog (Bibliografía y Súper-resumen) contienen las bases principales de mi postura. Ambas están basadas en revisiones de la literatura científica. Si hay estudios relacionados con intervenciones alternativas los incluyo. Si no los hay, no los incluyo.
5. Utilizo con mucha reticencia expresiones como «terapia alternativa»: si es una terapia tendrá que dar muestras de su eficacia, y lo de alternativa me suena a que podemos elegir una u otra, todo vale. Pues no, hay cosas que están bien fundamentadas, y ojo, eso no quiere decir que su eficacia sea asombrosa. Por lo que sabemos es más bien pequeña y no siempre funcionan, pero, desde luego es una eficacia mayor que la de las alternativas con las que se han comparado.
6. En estos asuntos, tarde o temprano sale lo de ser abierto de mente, algo que me desconcierta: nunca he entendido por qué leer blogs sobre homeopatía es ser abierto de mente, y leer el Reading Research Quarterly es ser cerrado. Que algo no esté respaldado por estudios científicos no implica que no sea útil, pero si es útil de verdad, ¿por qué no se estudia y se comparten los resultados? Vean el punto 1: es el que propone algo el que tiene que demostrarlo. No vale lo de «demuéstrame que no es verdad, porque perdemos mucho tiempo».

Concurso de gateo. El niño de la parte inferior podría ser uno los pocos datos sobre el efecto positivo del gateo en la lectura, aunque la relación podría ser inversa.

Una base de datos de tratamientos para dificultades de lenguaje

Presento la base de datos What Works. Esta base de datos es la versión online de un informe sobre intervenciones para niños con problemas de habla y lenguaje titulado «What Works»: Interventions for children and young people with speech, language and communication needs. El informe es uno de los resultados de un programa de investigación sobre la atención a niños con dificultades de habla, lenguaje y comunicación, encargado por el gobierno del Reino Unido.

Antes de seguir, dos cuestiones prácticas: la primera es que no se debe confundir la base de datos What Works con What Works Clearinghouse, que pertenece al departamento de educación de Estados Unidos y trata temas generales de educación. La segunda es que para acceder a What Works es necesario suscribirse. Quien esté intersado pero no quiera hacerlo puede encontrar la misma información (creo) en el informe que he citado en el párrafo anterior.

La base de datos

La base de datos contiene información sobre intervenciones para niños con problemas de habla, lenguaje y comunicación. Es posible encontrar información sobre intervenciones para mejorar el vocabulario, la competencia gramatical y la comprensión en general, pero, también es cierto, que la mayor parte de la información tiene que ver con la intervención en problemas de habla y comunicación.

Logotipo de la institución que mantiene la base de datos

What Works tiene un buscador en el que se pueden localizar intervenciones según cinco criterios: tipo de problema (de habla, de lenguaje, de comunicación, complejo), edad de los alumnos, foco de la intervención, aplicador (logopeda, profesor, asistente, otros), y formato (manual, enfoque, técnica).

De cada intervención se presenta una descripción, una indicación sobre quién la realiza (logopedas, profesores, padres, asistentes,…), un resumen de las evidencias que sustentan su eficacia, un contacto con autores, distribuidores o grupos relacionados con el tratamiento, y una bibliografía acerca de él. Existe también una sección sobre su puesta en práctica donde las personas que lo utilizan pueden exponer su experiencia, pero en ninguna de las consultas que he hecho a la base de datos he encontrado ningún tratamiento que incluyera alguna de esas experiencias.

Valoración personal

Llevaba un tiempo buscando información sobre intervenciones para mejorar la comprensión oral cuando me encontré con la base de datos What Works. Me causó muy buena impresión que todas las intervenciones que había localizado (y algunas más) apareciesen en la base de datos. Sí que tengo ciertos recelos acerca de los criterios con los que establecen el nivel de evidencia de una intervención (indicativo, moderado o sólido), ya que no he visto qué criterios siguen para hacer la valoración.

¿Es la LOMCE una ley basada en evidencias?

Me cuento entre las personas que intentamos difundir una corriente pedagógica llamada «educación basada en evidencias» (aunque «educación basada en pruebas» podría ser una mejor traducción de lo que se propone). No creo que la difusión de sus principios sea un cambio revolucionario, pero sí que podría producir pequeñas mejoras que se vayan acumulando unas con otras.

Borrador de la LOMCE

En principio, que los políticos adopten esta perspectiva es una buena noticia. Significa que a la hora de tomar decisiones se tendrían en cuenta los resultados de las investigaciones realizadas sobre la materia que se está regulando, incluso, que si las cosas no están suficientemente claras las decisiones serían provisionales y se promovería la investigación para tener una buena guía. Desde luego en educación hay muchas cosas que están poco claras, y no estoy hablando de disquisiciones abstractas sobre principios pedagógicos, sino de algo ta cotidiano como los efectos de las tareas escolares sobre el aprendizaje, las mejoras en el rendimiento que produce la repetición de curso, o los «desdoblamientos» (dividir el aula en dos grupos). Por no hablar de cosas como el aprendizaje por proyectos, el aprendizaje basado en inteligencias múltiples, las pizarras digitales, y otras cosas que funcionan por ahí. En cuanto al tema de este blog, resulta preocupante que en 10 años los niveles de comprensión lectora evaluados en pruebas internacionales se hayan mantenido prácticamente sin cambio, a pesar de las medidas que se han tomado para mejorar la comprensión lectora.

Como decía, considero una buena noticia que las leyes educativas se basen en evidencias. Así el apartado los apartados V y VI de la exposición de motivos del borrador de la LOMCE dice:

Los cambios propuestos en nuestro sistema educativo por la LOMCE están basados en evidencias.

La reforma de la LOMCE se apoya en evidencias y recoge las mejores prácticas comparadas.

Pero la pregunta que me hago es: ¿se trata de una auténtica fundamentación en evidencias, o simplemente se están adjudicando una etiqueta que le dé un aire de seriedad y rigor? Analicemos el texto antes de juzgar si estamos ante una propuesta basada en evidencias. Lo primero será ver qué investigaciones se citan. Revisando el texto (versión 2 del anteproyecto, 03/12/12) encuentro las siguientes referencias a investigaciones, estudios y datos oficiales:

Sección V de la exposición de motivos:

• Tasa de escolarización española.
• Resultados de PISA.
• Datos sobre abandono temprano (EUROSTAT 2011)
• Proyecto de indicadores de la OCDE, para mencionar que recoge datos sobre el porcentaje de jóvenes que finalizan la educación secundaria superior.
• Recomendaciones de la OCDE «basadas en las mejores prácticas de los paises con mejores resultados», sin citar ningún documento concreto.
• Estudios internacionales que «ponen de manifiesto que los países que han mejorado de forma relativamente rápida la calidad de sus sistemas educativos han implantado medidas relacionadas con la simplificación del currículo y refuerzo de los conocimientos instrumentales, la flexibilización de las trayectorias…, el desarrollo de sistemas de evaluación externa…, el incremento de la transparencia de los resultados, la promoción de una mayor autonomía y especialización de los centros docentes, la exigencia a los estudiantes, profesores y centros de la rendición de cuentas, y el incentivo del esfuerzo», sin citar ningún estudio concreto.

Sección VII de la exposición de motivos:

• «Recomendación reiterada de la OCDE» del aumento de la autonomía de los centros «para mejorar sus resultados, necesariamente unida a la exigencia de una mayor transparencia en la rendición de cuentas».
• Encuestas internacionales (no se cita cuáles) que señalan el punto anterior «como un déficit de nuestro sistema».
• Evidencia de que las pruebas de evaluación externa producen «un impacto de al menos 16 puntos de mejora de acuerdo con los criterios de PISA».

Como puede verse, en las evidencias en que se apoya la LOMCE tienen un peso importante las publicaciones y estudios de la OCDE, entre las que se incluye PISA. Salvo EUROSTAT no se identifican con precisión otras fuentes.

Si se tiene en cuenta que la investigación sobre educación no se agota en los estudios internacionales y sus análisis (que en realidad son una pequeña parte de lo que conocemos sobre educación) se echa en falta información sobre el criterio seguido para seleccionar esos estudios y no otros para fundamentar las reformas. Esta crítica es mucho más importante de lo que parece, ya que en la práctica basada en evidencias la selección de fuentes tiene que ser sistemática y transparente: deben existir unos criterios claros de qué información se selecciona, de forma que cualquiera que emplee esos mismos criterios seleccione esos mismos estudios. ¿Por qué? Porque estudios, en un campo con la educación, hay muchos, y no todos obtienen los mismos resultados. No es nada extraño que en un sector de la educación se encuentre estudios con resultados positivos, resultados no significativos y resultados negativos, debido a muchos factores, como el tamaño de la muestra, los instrumentos utilizados para realizar las mediciones, el tratamiento estadístico de los datos… Si uno selecciona los que quiere, sin un método sistemática, es posible que acabe eligiendo los que apoyan su postura previa.

Algo que llama mucho la atención es  la ausencia de investigación española. El único dato doméstico es la tasa de escolarización. Y eso hace surgir bastantes dudas: ¿no existe investigación española útil para la toma de decisiones educativas?, ¿es irrelevante?, ¿es de menor calidad que los estudios internacionales?, ¿acaso las evaluaciones generales de diagnóstico (están publicadas la de 2009 y 2010) no tienen como objetivo mejorar la calidad de la educación y orientar las políticas educativas? ¿Qué hace el Instituto Nacional de Evaluación Educativa? Pero la gran pregunta es ¿la selección de evidencias sobre educación en la que se ha basado el borrador de la LOMCE es representativa de la investigación que se ha hecho sobre esos temas?

Otra cuestión muy importante es que los resultados de las evaluaciones internacionales, que parecen ser la principal fuente para fundamentar las decisiones de la LOMCE, son correlacionales: permiten establecer relaciones entre variables, pero no se puede determinar que esas relaciones sean de causa-efecto (se puede ver un ejemplo de lo mal que se pueden interpretar este tipo de resultados en la entrada «desliz del ministerio«). Sí que es cierto que el análisis de los estudios internacionales puede aproximarnos a relaciones causa-efecto si se examina el efecto que causa sobre los resultados la introducción de alguna medida. Es fácil comprender que no es lo mismo el hecho de que los países que aplican pruebas externas tengan, como media, 16 puntos más que los que no las aplican, que el hecho de que un país que no aplica pruebas externas aumente sus resultados en 16 puntos por comenzar a utilizarlas.

En la práctica basada en evidencias se considera que la mejor fuente de información son los estudios experimentales, en los que los resultados del grupo que recibe una intervención o medida son comparados con los de otro grupo que no recibe ninguna medida, o recibe una intervención alternativa, con la condición de que los participantes en esos grupos se hayan distribuido al azar. Los estándares más rigurosos pedirán también que se compruebe que la intervención se aplique con fidelidad, y que los aplicadores, los participantes y los que evalúan las mejoras desconozcan si están en el grupo experimental o en el grupo de control (eso es más fácil en medicina que en educación). El borrador de la LOMCE no hace referencia a ninguna investigación de este tipo.

Conclusión

Después de lo visto considero que la LOMCE se adjudica a sí misma, bastante a la ligera, la etiqueta de reforma basada en evidencias, por los siguientes motivos: no hay nada que indique que se haya hecho una búsqueda sistemática de evidencias. Si se ha hecho y no nos lo han contado no podemos replicar la selección de evidencias de la LOMCE porque no ha sido pública. Ni siquiera sabemos cómo han llegado a seleccionar unos resultados de las evaluaciones internacionales que se citan y no otros. No se aportan evidencias de estudios experimentales, sino que la mayor parte de las referencias son menciones a estudios internacionales en los que se compara, entre países, el rendimiento en pruebas (normalmente de comprensión lectora, matemáticas y conocimientos científicos) y se asocia ese rendimiento con variables del alumno, del entorno escolar y familiares.

Juzgar la calidad de una investigación: introducción

Tome como ejemplo este artículo. Se titula «La comprensión lectora de profesores de la enseñanza primaria«. Está publicado en la Revista Electrónica Interuniversitaria de Formación del Profesorado.  El contenido es alarmante. Ya en el resumen dice lo siguiente:

Los resultados demostraron que el nivel de comprensión lectora del profesor, tal y como se configuró en la investigación, está muy por debajo del esperado.

Una investigación que demuestra que el nivel de comprensión lectora de los profesores de Primaria es bajo. ¿Se imagina la que se puede montar? Acusaciones a las universidades por el mal nivel con que se preparan los profesores, el Ministerio de Educación encuentra una explicación para los malos resultados en las evaluaciones de competencia lectora,…

La Revista Electrónica Interuniversitaria de Formación del Profesorado es  una publicación que selecciona sus artículos mediante el sistema de revisión por pares: el consejo de redacción elige los trabajos a publicar solo entre aquellos que han tenido el visto bueno de por lo menos dos de los tres evaluadores externos que los revisan, que valoran su altura intelectual, el rigor metodológico, la coherencia interna, su interés, originalidad, claridad y calidad literaria.

Es decir, la investigación realizada tiene cierta garantía de estár correctamente planteada, desarrollada y contada. ¿Entonces es cierto lo que dice? Veamos algunos detalles de cómo se llegó a esa conclusión:

¿Es cierto que los profesores de Primaria tienen un bajo nivel de comprensión? 

Los resultados se obtuvieron con tres profesoras de Brasilia. Una de ellas había terminado la carrera de magisterio y un curso de especialización, las otras habían cursado Bachillerato y aún estaban haciendo la carrera. No sabemos por qué motivo se eligió a esas tres maestras y no a otras.

Para valorar su comprensión se utilizó un texto y 13 preguntas abiertas. Desconocemos cuál era el texto, su extensión y su tema, así como el contenido de las preguntas, aunque se puede deducir que estaban relacionadas con el reconocimiento de las ideas más importantes, la organización del texto y la construcción de inferencias.

Sabemos que la profesora 1 (la que había acabado la carrera) tuvo 18 aciertos. ¿No eran 13 preguntas? Tal vez se trate de 18 puntos, ya que en la prueba realizada se podían conseguir hasta 30 puntos, claro que si con 13 respuestas acertadas se consiguen 30 puntos no todas las preguntas valen lo mismo. Hubiera sido interesante que se explicasen los criterios de puntuación. La profesora 2 tuvo 5 puntos, y la profesora 3 tuvo 13.

Las conclusiones que se obtiene de todo esto ya se han adelantado

Este trabajo demostró que el nivel de comprensión lectora del profesor, tal y como se configuró en la investigación, está muy por debajo del esperado. Pudimos observar que las tres presentaban niveles diferentes de comprensión lectora. La baja ejecución que realizó el profesor P2 nos revela los graves problemas que la educación tiene que vencer todavía en la formación del profesorado.

Si se lee el artículo con una actitud crítica se pueden encontrar motivos para dudar de estas conclusiones. En primer lugar, el tamaño de la muestra es tan pequeño que no puede considerarse una muestra representativa de las profesoras de Brasilia. Desconozco cuantas profesoras de Primaria hay en Brasilia. Supongamos que son 100. En este documento de Pedro Morales titulado tamaño necesario de la muestra se puede ver que si queremos tener un nivel de confianza del 95% (el utilizado en muchos estudios de psicología o pedagogía), para una población de 100 personas tendríamos que evaluar a 80. Si fuesen 25 tendríamos que evaluar a 24. De modo que 3 profesoras forman una muestra no representativa. No solo eso, sino que pueden ser una muestra sesgada, ya que no sabemos cómo se seleccionaron. Para no ser injusto, debe decir que el estudio se presenta como estudio de caso único, pero al obtener conclusiones se generaliza y se trata de establecer cuál es el nivel de comprensión del profesorado de Primaria y cuáles son sus necesidades de formación a partir de los datos de esa pequeña muestra.

De Forges

Aprovechando que estoy con estas cuestiones de la muestra, voy a poner un ejemplo con datos concretos. En España, en el curso 2007/2008 había 1.829.874 alumnos matriculados en ESO. Si voy a hacer una investigación y quiero tener una muestra representativa, según las tablas de Morales necesitaré a 384 alumnos  para un nivel de confianza del 95% y 1066 para un nivel de confianza del 77%, alumnos que tendrían que estar seleccionados de forma aleatoria, es decir, que todos los alumnos de la ESO tengan las mismas probabilidades de ser seleccionados, para que no haya sesgos.

Pero no hace falta meterse en estos tecnicismos que yo mismo no acabo de entender. Dos de las tres profesoras no tenían una titulación universitaria de Magisterio, precisamente las dos que obtienen los resultados más bajos en comprensión lectora. No sé si en Brasil será diferente, pero donde yo escribo nadie consideraría que esas dos personas son en realidad profesoras (son estudiantes universitarias, aunque estén dando clase en colegios), de modo que resulta extraño obtener conclusiones sobre el nivel de lectura de los profesores a partir de personas que, en realidad, no son profesores.

Por último no sabemos cómo se evaluó a estas personas. Cualquier persona tendrá más dificultades para entender un texto sobre un tema con el que no esté familiarizado o con mucha complejidad. Es decir, si tuvieron dificultades para comprender la fábula de la liebre y la tortuga puede ser alarmante, pero si los bajos resultados se obtuvieron con preguntas sobre La Poética de Aristóteles podría pensarse que otros gremios también hubieran obtenido bajos resultados, porque es un texto difícil de comprender.

Volviendo a la pregunta que iniciaba esta sección sobre si es cierto que los profesores de Primaria tienen baja comprensión, podemos decir que aunque la autora del artículo afirme que sí, el método seguido para llegar a esa conclusión no es correcto.

¿Sirve todo esto para algo?

La mayor parte de la población no suele tener contacto con medios de comunicación especializados en psicología o pedagogía, como revistas o congresos científicos, pero recibe información a través de medios generalistas (prensa, radio, televisión, internet), que son (pido perdón a los «especializados») más atractivos y fáciles de entender. En estos medios generalistas suelo encontrar con mucha frecuencia un género literario al que llamo «Una investigación de muestra que…»

Algunos ejemplos reales claros del género son: «una investigación demuestra que los monos pueden leer», «una nueva investigación demuestra que el bilingüísmo mejora la velocidad lectora y la comprensión», «una investigación demuestra que los juegos de rol mejoran la actitud de los estudiantes de Secundaria hacia la educación física», «una investigación demuestra las ventajas de la educación en irlandés»,… Es muy habitual que en estos casos el entusiasmo del periodista por tener una noticia atractiva exagere los supuestos hallazgos. Cuidado, porque no siempre aparece el «una investigación demuestra que», sino que a veces la cosa es más sutil como en Lo que más determina el éxito escolar son las expectativas académicas del propio alumnado, o en Bob Esponja pone en peligro la atención de los niños, casos que comenté anteriormente.

No digo que estas cosas no sean ciertas, aunque la de los monos me parece algo sospechosa y los juegos de rol no me produjeron los efectos que se describen, lo que digo es que antes de dar por supuesto lo que dicen esos titulares conviene revisar críticamente cómo se hizo esa investigación, ya que es raro que un estudio demuestre algo y será habitual que si se hacen nuevos estudios sobre el mismo tema se obtengan resultados distintos. Las variaciones pueden depender de cuestiones como el tamaño de la muestra, la forma de seleccionarla, cómo se evaluó la variable que se estaba estudiando,…

Se puede pensar que los investigadores son unos chapuceros que no se toman en serio su trabajo, pero es que la investigación perfecta no existe. Se puede mejorar la calidad y el control, pero no totalmente, de modo que lo más sensato es no pretender sacar grandes conclusiones de una investigación, sino de una línea de investigación.

El gráfico que aparece a continuación está tomado de mi tesis, y representa la relación que se encuentra en distintas investigaciones entre la comprensión del lenguaje y la comprensión lectora.

Imagine por un momento que encuentra la investigación representada en la parte inferior izquierda del gráfico: la relación entre comprensión oral y comprensión lectora es negativa. Otras investigaciones encuentran que es casi inexistente, y otras que es positiva. Pero hay una cosa curiosa: cuanto más arriba están los círculos (más muestra tienen los estudios) más se juntan los resultados. Los estudios de la parte inferior, con muestras muy pequeñas dan resultados muy variados, mientras que los de la parte superior, con muestras en torno a 600 alumnos tienden a juntarse, formando una especie de vértice superior de un triángulo. Otra cosa curiosa que muestra el gráfico es que la mayor parte de las investigaciones se realizaron con muestras pequeñas, y son pocas las que se hicieron con más de 200 alumnos.

Concluyendo, no basta con que una investigación obtenga unos resultados. Es conveniente ver si se han obtenido de una forma adecuada, y es conveniente ver si otras investigaciones sobre el mismo tema llegan a resultados parecidos.

Otras dos webs sobre educación y lectura basadas en evidencias

He hablado anteriormente de las webs de What Works Clearinghouse y Best Evidence Encyclopedia como sitios donde se puede encontrar información (si sabes inglés) sobre los métodos de mejora de la comprensión que se han mostrado más eficaces. Aunque estos dos son muy importantes, existen otros sitios donde se puede encontrar esa información y, en esta entrada, voy a comentar dos de ellos.

Promising Practices Network (PPN)

La red de las prácticas prometedoras está vinculada a la corporación RAND, que es un laboratorio de ideas para la mejora de la política y la toma de decisiones.  PPN trata sobre la educación, entendida en un sentido bastante amplio, por lo que agrupa las intervenciones revisadas en cuatro secciones: niños seguros y con salud, niños preparados para la escuela, niños con éxito en la escuela, y familias fuertes.

Logotipo y cabecera de PPN

PPN considera tres niveles de evidencia:

1.  Programas probados: al menos uno de sus resultados tiene un tamaño del efecto de 0,25 o mayor y es significativo (p < 0,05), el diseño del estudio es sólido (diseño experimental o algunos diseños cuasi-experimentales), más de 30 participantes en cada uno de los grupos experimentales y de control, y disponible para el público.
2. Programas prometedores: hay un cambio de más de un 1% en los resultados que resulta como mínimo marginalmente significativo (p < 0,099), existe un grupo de control aunque pueda haber problemas en el diseño como que no se compruebe la equivalencia de los grupos o no se utilicen controles estadísticos adecuados, más de 10 participantes en el grupo experimental y de control, y disponible para el público.
3. Programas detectados:  no han sido revisados por PPN, pero sí por otras instituciones que aplican criterios similares.

De cada programa revisado se da la siguiente información: breve descripción, cursos o edades de los participantes, cómo ha sido evaluado y qué resultados se han obtenido, quién puede utilizarlo, patrocinadores, requisitos para ponerlo en marcha, posibles problemas e inconvenientes, lugares donde se ha aplicado, información de contacto, recursos y bibliografía.

PPN cuenta con una sección llamada Research in Brief en la que se ofrecen resúmenes de investigaciones seleccionadas sobre infancia y adolescencia.

Reading Rockets (RR)

Imagen de cabecera de la web de RR

Me imagino que la traducción de Reading Rockets es algo así como cohetes de lectura. Se trata de una web de divulgación sobre la lectura que ofrece estrategias, recursos, actividades, y noticias que pueden ayudar a padres, profesores, bibliotecarios y otros profesionales a mejorar la lectura de los niños. Esta web forma parte de un proyecto más grande que incluye la web ColorinColorado (en inglés y español) , programas de televisión, o presencia en redes sociales. La web de RR pertenece a WETA, una empresa de comunicación de Washington con capital mayoritario de la oficina de programas de educación especial del departamento de educación de Estados Unidos.

Entre las distintas secciones de RR se puede destacar la de estrategias para la clase, en la que se encuentran 22 estrategias basadas en evidencias y clasificadas según su aplicación antes, durante o después de la lectura. Cada una de estas estrategias es definida, explicada, acompañada de ejemplos y, a veces, de materiales, y se citan los estudios que muestran su eficacia. Las estrategias se clasifican según un sistema bastante tradicional: antes de la lectura, durante la lectura y después de la lectura.

De las cuatro webs sobre educación basada en evidencias que se han comentado en el blog (WWC, BEE, PPN y RR), Reading Rockets es la menos rigurosa en la selección de las intervenciones y en la determinación de los niveles de evidencia que las sustentan, pero, por otra parte, es la más orientada a la práctica y la que más recursos ofrece para aplicar esas intervenciones.

Lecturas repetidas: ¿una práctica recomendable?

David J. Chard (de su web en la Southern Methodist University)

Tras varios años recomendando a profesores y familias el uso de lecturas repetidas como forma de mejorar la fluidez lectora me encuentro con un artículo de Chard, Ketterlin-Geller, Baker, Doabler y Apichatabutra (2009) titulado Repeated reading interventions for students with learning disabilities: status of the evidence, en el que se expone que este tipo de intervenciones no se pueden considerar como basadas en evidencias.

Recuerdo que la base para introducir las lecturas repetidas en mi repertorio de prácticas fue una revisión de Chard, Vaughn y Tyler (2002), titulada A synthesis of research on effective interventions for building fluency with elementary students with learning disabilities. Posteriormente encontré un artículo de Garzón, Jiménez y Seda (2008) El Teatro de lectores para mejorar la fluidez lectora en niños de segundo grado, en el que realizaban una experiencia con alumnos de lengua española.

En la revisión de Chard et al (2002) las intervenciones de lecturas repetidas producían mejoras sobre la fluidez con un tamaño del efecto medio d=0,68. El tamaño del efecto era d=1,98 para alumnos con dificultades de aprendizaje.

Compruebo, ahora, que existe una revisión sistemática del método, publicada por Therrien (2004), titulada Fluency and comprehension gains as a result of repeated reading.  Esta revisión analiza 33 estudios realizados con alumnos de 5 a 18 años de edad. En 16 de estos estudios se evaluaba la mejora de fluidez en la lectura de textos distintos a los utilizados durante la instrucción, con un tamaño del efecto d=0,5. En 11 estudios se evaluaba la mejora en la comprensión de textos distintos a los empleados durante la instrucción con un tamaño del efecto  d=0,25. Como media, las intervenciones tenían 36 sesiones de duración.

Se obtuvieron mejores resultados cuando las intervenciones estaban dirigidas por un adulto, aunque, en la mayor parte, los alumnos trabajaban bajo la supervisión de un compañero y cuando se trabajaba con alumnos con dificultades de aprendizaje. El modelado (escuchar el texto bien leído antes de comenzar a trabajar con él), el uso de gráficos para registrar los progresos y la corrección de errores de pronunciación produjeron mejoras en la fluidez, pero no en la comprensión. Los resultados de comprensión mejoraban en las intervenciones en que los alumnos respondían preguntas o tenían que resumir el texto.

El factor que se relacionaba con un mayor aumento de la fluidez era el tener que alcanzar un criterio (nº de palabras por minuto, o tiempo empleado en leer un texto), es decir, que los alumnos no realizaban un determinado número de repeticiones de la lectura, sino que seguían practicando hasta alcanzar el criterio.

Bien, y ¿por qué Chard et al. (2009) consideran que las lecturas repetidas no son un método basado en evidencias?

En una primera revisión los autores localizan 92 publicaciones que tratan sobre el efecto de las lecturas repetidas. De esas 92 seleccionan 11 que cumplen los siguientes criterios:
· Estudios realizados con alumnos de educación primaria o secundaria.
· Con dificultades de aprendizaje o en riesgo de padecerlas.
· En los que el efecto de las lecturas repetidas se estudia de forma aislada; sin combinarlo con otros métodos de intervención.

Estas 11 investigaciones fueron evaluadas según la calidad del método que empleaban.  En los seis estudios de sujeto único ninguno cumplía los requisitos mínimos de rigor en todas las categorías (se consideraban 7). En los cinco estudios experimentales o cuasi-experimentales sólo uno mostraba alto rigor en las cuatro categorías evaluadas. El criterio para considerar que una intervención está basada en evidencias era que se encontrasen cuatro estudios de calidad aceptable o dos de alta calidad con resultados significativos.

A pesar de esta conclusión Chard et al. (2009) no se muestran contrarios al uso del método ya que está bien fundamentado teóricamente  y los metanálisis realizados muestran resultados positivos.

El tamaño del efecto

Anteriormente se ha mencionado la importancia del nivel de evidencia que respalda a una intervención educativa. Pero, aunque una intervención para mejorar la comprensión lectora haya obtenido, de forma consistente, resultados significativos, puede que no sea recomendable su aplicación. Por ejemplo, puede suceder que una intervención que produzca una mejora ligera resulte muy costosa en materiales y tiempo.

Para una práctica eficiente resulta útil conocer el tamaño del efecto, una medida estadística que cuantifica la relación entre dos variables, o la diferencia entre dos grupos. La d de Cohen es una medida muy difundida en la que el tamaño del efecto se calcula restando la media obtenida por el grupo experimental menos la media del grupo de control y dividiendo el resultado entre la desviación típica de la población a la que pertenecen ambos grupos (en educación no suele ser habitual conocer la desviación típica de la población, de modo que se suele utilizar la del grupo de control o se combinan la del grupo experimental y la del grupo de control).

Se puede considerar que la d de Cohen representa el número de desviaciones típicas que separan a dos grupos. Por ejemplo, una d de 0,5 indica que la diferencia entre el grupo experimental y el grupo de control en la variable evaluada (comprensión lectora) es de media desviación típica. Cohen dio algunas referencias para interpretar la magnitud de los tamaños del efecto:
– d = 0,20: tamaño del efecto pequeño.
– d = 0,50: tamaño del efecto mediano.
– d = 0,80: tamaño del efecto grande.

Información adicional:

· Un programa para calcular la d de Cohen y la r (otra medida del tamaño del efecto).

¿Qué son los niveles de evidencia?

Para que la intervención sobre la comprensión lectora esté basada en evidencias es necesario saber qué es una evidencia y qué tipos de evidencias existen. Una evidencia es cualquier información que nos indica que un método de mejora de la comprensión resulta eficaz, o que es mejor que otro. Tal vez, la forma más primitiva de evidencia sea la intuición: algo me dice que la mejor forma de actuar es esta, pero no sé justificarlo o explicarlo. Cuando no existen evidencias procedemos por azar.

Otro nivel de evidencia son las recomendaciones de expertos. Al tratarse de gente con experiencia en el trabajo o el estudio de la comprensión lectora, suponemos que sus recomendaciones están mejor fundamentadas que las intuiciones personales. Con los expertos tenemos dos problemas: el primero es lo difícil que resulta, a veces, determinar quién es un experto en un campo, y el segundo es que los expertos se equivocan a veces (ejemplo: grandes errores de científicos famosos). Bueno, hay otro problema: los expertos no se suelen poner de acuerdo, salvo que existan evidencias de tipo superior.

Así pasamos al nivel de evidencia que proporciona la investigación. Puede parecer que aquí se acaba todo, y que, si la ciencia muestra que hay formas eficaces de mejorar la comprensión lectora, las utilizamos y ya está. Pero lo cierto es que no todas las evidencias derivadas de la investigación tienen el mismo rango.

Dibujo del ilustrador Santy Gutiérrez

Aunque en la divulgación es común leer o escuchar «un estudio muestra que», «científicos de… han encontrado que…», «un estudio demuestra…», en ciencia es difícil encontrar tales niveles de certeza, y en la investigación pedagógica, menos, por el tipo de estudios que se suelen realizar. No es lo mismo un estudio que relaciona datos que un estudio experimental, pero también hay que tener en cuenta el tamaño de la muestra con el que se realizan estos estudios, la fiabilidad de las pruebas o tests que se emplean, y otros factores que pueden afectar a la calidad de una investigación.

También es común encontrarse con una investigación que nos da un resultado, y luego otra que nos da un resultado distinto, y otra con un resultado de signo contrario,… dando lugar a la sensación de que nos toman el pelo. Afortunadamente, existen técnicas de revisión sistemática y metanálisis que permiten organizar todas estas informaciones y dar un resultado general razonado. Las investigaciones experimentales de alta calidad y los metanálisis, sobre todo si se hacen con investigaciones de alta calidad, nos proporcionan los mejores niveles de evidencia para la toma de decisiones.