IRESIE: una base de datos sobre investigación educativa latinoamericana

IRESIE es una base de datos de la Universidad Nacional Autónoma de México. Las siglas significan Índice de Revistas de Educación Superior e Investigación Educativa y sus orígenes datan de 1997.

IRESIE permite buscar la referencia a artículos publicados en las mas de 1300 revistas que indexa (aquí se puede ver una lista con todas las revistas). Por ejemplo, la expresión «comprensión lectora» proporciona, cuando estoy escribiendo esta entrada, 966 referencias. De esas referencias se enlaza con el texto completo de 471.

La herramienta de búsqueda permite realizar búsquedas avanzadas (multicampo, con palabras incompletas o con operadores).

 

Evidencias para la ESSA

Los lectores más familiarizados con la educación especial de Estados Unidos ya habrán tenido noticias de la existencia de una ley llamada No Child Left Behind (NCLB). Esa ley fue reemplazada en diciembre de 2015 por Every Student Succeeds Act (ESSA). Al igual que sucedía en la NCLB, la ESSA promueve la aplicación de programas basados en evidencias en educación.

La aplicación seria de esta directriz requiere que las personas que diseñan los programas escolares y el profesorado tengan acceso a información sobre la eficacia de los distintos métodos educativos. Por eso son muy importantes las agencias que revisan y analizan la información procedente de la investigación para transformarla en informes o guías para el profesorado.

Evidence for ESSA es una web que ofrece información de este tipo. Está vinculada al Center for Research and Reform in Education (CRRE) de la Universidad Johns Hopkins. No se trata, por tanto, de una agencia oficial, es decir, dependiente del estado. Tampoco se trata de ninguna novedad, porque el CRRE ya mantenía una web sobre evidencias en educación llamada Best Evidence Encyclopedia que sigue estando accesible.

Actualmente, la web tiene dos secciones principales: los programas para la enseñanza de matemáticas y los programas de lectura. En cada uno de ellos se distingue entre la educación elemental (infantil y primaria) y la media y superior (secundaria y bachillerato).

Los programas de lectura

Mientras escribo esta entrada, se ofrece información sobre 54 programas de lectura destinados a la educación infantil y primaria y 19 programas para educación secundaria y bachillerato.

Los programas se pueden clasificar según:

• Destinatarios: toda la clase, lectores con dificultad, alumnos con lengua materna distinta del inglés.
• Nivel de evidencia: fuerte, moderado, prometedor (son tres de los cuatro niveles propuestos en la ESSA).
• Cursos de aplicación.
• Tipo de centro: urbano, suburbano, rural, sin especificar.
• Grupos de destinatarios.
• Características del programa.

De cada programa se proporcionan datos prácticos como el contacto con sus editores o promotores, el precio y una descripción. También se da información sobre el número de estudios con que ha sido evaluado, el número de participantes y el tamaño del efecto que produce. Los visitantes de la web pueden introducir comentarios sobre los distintos programas.

¿PISA para adultos? Comprensión lectora en el PIAAC

Eso que los medios de comunicación y el ministerio de educación han llamado «PISA para adultos» no es una versión pornográfica de las pruebas PISA, sino un estudio de la OCDE llamado PIAAC por sus siglas en inglés  (Program for the International Assessment of Adult Competencies). Las competencias que ha medido han sido la lectora, la matemática, y la de resolución de problemas en un entorno tecnológico, del que apenas hemos sabido nada ya que en españa no se evaluó.

Como es costumbre en este blog, para quien quiera acudir a la fuente original, aquí está el enlace a First Results from the Survey of Adult Skills, o la versión en español (volumen 1, volumen 2). Aunque parezca poco atractivo enfrentarse a un documento técnico de 466 páginas, gran parte de ellas son gráficos y tablas, y al principio de la obra se puede encontrar un breve resumen ejecutivo de sólo 2 páginas. No se trata para nada de una clasificación o ranking de países en determinadas habilidades o conocimientos, sino que más bien es un análisis del mercado laboral, las competencias que se emplean en él, y los requisitos para mejorar la productividad. Aunque los medios de comunicación se han centrado en lo de «España a la cola en lectura y matemáticas», también se proporcionan datos sobre la baja cantidad de hogares con ordenador y acceso a internet, de personas que utilizan internet para comunicarse con el gobierno, las autoridades o con negocios, los pocos cambios introducidos en las empresas, y sobre todo que, de los países analizados, España es el que tiene la tasa más alta de personas de 25 a 34 años sin educación secundaria.

También se puede encontrar un resumen en español, de 15 páginas y centrado en los resultados obtenidos por España. Para valientes, en este enlace hay una documentación exhaustiva, incluyendo el acceso a las bases de datos de la evaluación.

A quién se evaluó

Se evaluó a personas de entre 16 y 65 años que residían en el país valorado (no tenían por qué tener esa nacionalidad o conocer la lengua oficial) en el momento del estudio , y que no estuviesen institucionalizados. Concretamente, en España se valoró a 6.055 personas.

Resultados

La prueba de competencia lectora tenía 5 niveles de dificultad, pero no son los mismos en los que se clasificó a los participantes ya que en las gráficas se suelen unir los niveles más altos (4 y 5) y se refleja también a los que no llegaron a obtener el nivel 1, el más bajo.

El porcentaje de adultos españoles que alcanzaban los niveles 3, 4 y 5 era ligeramente superior al 30%. Casi el 40% estaba en el nivel 2, aproximadamente el 20% en el nivel 1, y casi el 10% por debajo del nivel 1, siendo el país evaluado en el que hubo más participantes que no alcanzaban ese nivel. Se debe tener en cuenta que en Chipre no se pudo evaluar a casi el 18% de la muestra por problemas de idioma o de capacidad, pero aunque se les añadiese en los niveles más bajos, seguiría habiendo una proporción de adultos chipriotas en los niveles 3, 4 y 5 mayor que la de españoles.

Puntuaciones generales por países

La puntuación general española fue 252 puntos, la media de los países evaluados fue 273 puntos, y la puntuación máxima, obtenida en Japón, 296 puntos. No se encontraron diferencias significativas entre España y Dinamarca, Alemania, Estados Unidos, Austria, Chipre, Polonia, Irlanda, Francia o Italia, pero sí con otros países.

La puntuación general española es mayor cuando se considera solo a los adultos jóvenes, de 16 a 24 años (264) puntos. En ese caso la media es de 280 puntos, y Japón obtuvo 299 puntos, la máxima puntuación.

Una curiosa aplicación

Si todo ha funcionado correctamente, esta entrada incluye una aplicación de la OCDE con la que se pueden explorar los resultados y realizar comparaciones entre países.

Si la técnica no ha funcionado, es posible encontrar la aplicación en este enlace.

Algunas cuestiones interesantes

• Mientras que España tienen una notable proporción de jóvenes de 25 a 34 años con estudios universitarios, ese grupo no destaca especialmente en competencia lectora. La comprensión de los jóvenes japoneses o alemanes que no han seguido estudiando después del bachillerato es similar a la de los jóvenes españoles con formación universitaria.
• A pesar de que se ha hablado mucho de las diferencias entre países, las mayores diferencias eran las que se obtenían dentro de cada país.
• Cualquier tiempo pasado no fue mejor: el grupo de edad español que obtuvo mejores puntuaciones fue el de 16-24 años, seguido por el de 25-34 y el de 35-44. Los siguientes grupos de edad obtenían puntuaciones claramente más bajas que éstos.
• Las profesiones en las que más se utiliza la competencia lectora son las relacionadas con finanzas y seguros, seguidas por las relacionadas con la información y la comunicación. En las que menos se emplea la competencia lectora es en las del ámbito de la construcción.
• Curiosamente, a pesar de los bajos resultados, España es uno de los países con mayor porcentaje (17%) de trabajadores con una competencia lectora superior a la necesaria para el puesto de trabajo…

La verdad es que todo esto es sólo una mínima parte de la información que se puede encontrar en la fuente original en la que también se realizan interesantes análisis sobre los factores (edad, formación inicial, formación permanente, uso de la lectura en el trabajo) que pueden influir sobre la competencia lectora de los adultos, o se analiza el porcentaje de trabajadores sobrecualificados e infracualificados.

Una base de datos de tratamientos para dificultades de lenguaje

Presento la base de datos What Works. Esta base de datos es la versión online de un informe sobre intervenciones para niños con problemas de habla y lenguaje titulado «What Works»: Interventions for children and young people with speech, language and communication needs. El informe es uno de los resultados de un programa de investigación sobre la atención a niños con dificultades de habla, lenguaje y comunicación, encargado por el gobierno del Reino Unido.

Antes de seguir, dos cuestiones prácticas: la primera es que no se debe confundir la base de datos What Works con What Works Clearinghouse, que pertenece al departamento de educación de Estados Unidos y trata temas generales de educación. La segunda es que para acceder a What Works es necesario suscribirse. Quien esté intersado pero no quiera hacerlo puede encontrar la misma información (creo) en el informe que he citado en el párrafo anterior.

La base de datos

La base de datos contiene información sobre intervenciones para niños con problemas de habla, lenguaje y comunicación. Es posible encontrar información sobre intervenciones para mejorar el vocabulario, la competencia gramatical y la comprensión en general, pero, también es cierto, que la mayor parte de la información tiene que ver con la intervención en problemas de habla y comunicación.

Logotipo de la institución que mantiene la base de datos

What Works tiene un buscador en el que se pueden localizar intervenciones según cinco criterios: tipo de problema (de habla, de lenguaje, de comunicación, complejo), edad de los alumnos, foco de la intervención, aplicador (logopeda, profesor, asistente, otros), y formato (manual, enfoque, técnica).

De cada intervención se presenta una descripción, una indicación sobre quién la realiza (logopedas, profesores, padres, asistentes,…), un resumen de las evidencias que sustentan su eficacia, un contacto con autores, distribuidores o grupos relacionados con el tratamiento, y una bibliografía acerca de él. Existe también una sección sobre su puesta en práctica donde las personas que lo utilizan pueden exponer su experiencia, pero en ninguna de las consultas que he hecho a la base de datos he encontrado ningún tratamiento que incluyera alguna de esas experiencias.

Valoración personal

Llevaba un tiempo buscando información sobre intervenciones para mejorar la comprensión oral cuando me encontré con la base de datos What Works. Me causó muy buena impresión que todas las intervenciones que había localizado (y algunas más) apareciesen en la base de datos. Sí que tengo ciertos recelos acerca de los criterios con los que establecen el nivel de evidencia de una intervención (indicativo, moderado o sólido), ya que no he visto qué criterios siguen para hacer la valoración.

Frecuencia de las palabras en el español

Estoy preparando una investigación sobre lectura y necesito comprobar que dos textos son similares, algo más complicado de lo que parece porque dos textos pueden ser similares o diferentes en muchas cosas: tema, número de palabras, número de oraciones, complejidad de las sílabas que aparecen… Una de las medidas que quiero tener en cuenta es si las palabras que contienen los textos son muy frecuentes o poco frecuentes en el español.

En otras ocasiones he utilizado para comprobar la frecuencia con que aparece una palabra el diccionario de frecuencias de Alameda y Cuetos (1995). Pero esta vez estoy utilizando otra herramienta muy interesante: las medidas de frecuencia del corpus del español de la Real Academia Española, que pone a nuestra disposición un listado con las frecuencias con que aparecen las palabras del Corpus de Referencia del Español Actual (CREA). Podemos acceder a las 1.000 palabras más frecuentes, a las 5.000 más frecuentes, a las 10.000 más frecuentes o a todo el corpus, que tiene más de 70.000 palabras. Con la herramienta de búsqueda que tenga el programa con el que estemos viendo el documento se puede buscar la palabra que nos interese.

Para quien tenga un interés especial en el estudio del léxico es recomendable que miren base de datos completa, el CREA que permite operaciones bastante más complejas que consultar la frecuencia con que aparece una palabra.

Interfaz de consulta del corpus CREA

En bachillerato tuve un profesor de latín que nos hizo aprender la máxima “ex abundantia cordis os loquitur” (o algo parecido) que se traduce como “la boca habla de lo que abunda en el corazón”. Por eso siempre que me encuentro una herramienta de este tipo me gusta comprobar cuáles son las palabras más frecuentes pensando que eso es lo que abunda en nuestro corazón. Evidentemente buena parte de las palabras más frecuentes tienen función gramatical más que significado. En los 10 primeros puestos encontramos “de, la, que, el, en, y, a, los, se, del”. Pero las que me interesan son otras. Por ejemplo, en el puesto 47 encontramos “años” que me parece la primera palabra con contenido semántico. En el puesto 64 está “parte” y en el 70 “tiempo”. En el 76 encontramos “vida”, en el 86 “gobierno”, en el 90 “día”, y en el 98 “país”. Ya a partir de la 100 hay palabras como “mundo (101)”, “año (102)”, “presidente (115)”, “casa (122)”, “España (134)”, “Madrid (140)”, “nacional (141)”, “trabajo (142)”, “política (152)”, “poder (166)”, “partido (171)”, “personas (172)”, “grupo (173)”, “mujer (181), “José (183)”,…

¿Solo nos interesa el fútbol? Si nos saltamos “partido” que puede relacionarse con el deporte y con la política, “fútbol” aparece en el puesto 839, y palabras como “deporte”, “balón”, “portería” o “gol” no aparecen entre las 1.000 más frecuentes del corpus.

Otras dos webs sobre educación y lectura basadas en evidencias

He hablado anteriormente de las webs de What Works Clearinghouse y Best Evidence Encyclopedia como sitios donde se puede encontrar información (si sabes inglés) sobre los métodos de mejora de la comprensión que se han mostrado más eficaces. Aunque estos dos son muy importantes, existen otros sitios donde se puede encontrar esa información y, en esta entrada, voy a comentar dos de ellos.

Promising Practices Network (PPN)

La red de las prácticas prometedoras está vinculada a la corporación RAND, que es un laboratorio de ideas para la mejora de la política y la toma de decisiones.  PPN trata sobre la educación, entendida en un sentido bastante amplio, por lo que agrupa las intervenciones revisadas en cuatro secciones: niños seguros y con salud, niños preparados para la escuela, niños con éxito en la escuela, y familias fuertes.

Logotipo y cabecera de PPN

PPN considera tres niveles de evidencia:

1.  Programas probados: al menos uno de sus resultados tiene un tamaño del efecto de 0,25 o mayor y es significativo (p < 0,05), el diseño del estudio es sólido (diseño experimental o algunos diseños cuasi-experimentales), más de 30 participantes en cada uno de los grupos experimentales y de control, y disponible para el público.
2. Programas prometedores: hay un cambio de más de un 1% en los resultados que resulta como mínimo marginalmente significativo (p < 0,099), existe un grupo de control aunque pueda haber problemas en el diseño como que no se compruebe la equivalencia de los grupos o no se utilicen controles estadísticos adecuados, más de 10 participantes en el grupo experimental y de control, y disponible para el público.
3. Programas detectados:  no han sido revisados por PPN, pero sí por otras instituciones que aplican criterios similares.

De cada programa revisado se da la siguiente información: breve descripción, cursos o edades de los participantes, cómo ha sido evaluado y qué resultados se han obtenido, quién puede utilizarlo, patrocinadores, requisitos para ponerlo en marcha, posibles problemas e inconvenientes, lugares donde se ha aplicado, información de contacto, recursos y bibliografía.

PPN cuenta con una sección llamada Research in Brief en la que se ofrecen resúmenes de investigaciones seleccionadas sobre infancia y adolescencia.

Reading Rockets (RR)

Imagen de cabecera de la web de RR

Me imagino que la traducción de Reading Rockets es algo así como cohetes de lectura. Se trata de una web de divulgación sobre la lectura que ofrece estrategias, recursos, actividades, y noticias que pueden ayudar a padres, profesores, bibliotecarios y otros profesionales a mejorar la lectura de los niños. Esta web forma parte de un proyecto más grande que incluye la web ColorinColorado (en inglés y español) , programas de televisión, o presencia en redes sociales. La web de RR pertenece a WETA, una empresa de comunicación de Washington con capital mayoritario de la oficina de programas de educación especial del departamento de educación de Estados Unidos.

Entre las distintas secciones de RR se puede destacar la de estrategias para la clase, en la que se encuentran 22 estrategias basadas en evidencias y clasificadas según su aplicación antes, durante o después de la lectura. Cada una de estas estrategias es definida, explicada, acompañada de ejemplos y, a veces, de materiales, y se citan los estudios que muestran su eficacia. Las estrategias se clasifican según un sistema bastante tradicional: antes de la lectura, durante la lectura y después de la lectura.

De las cuatro webs sobre educación basada en evidencias que se han comentado en el blog (WWC, BEE, PPN y RR), Reading Rockets es la menos rigurosa en la selección de las intervenciones y en la determinación de los niveles de evidencia que las sustentan, pero, por otra parte, es la más orientada a la práctica y la que más recursos ofrece para aplicar esas intervenciones.

Intervenciones eficaces para mejorar la comprensión lectora (pero en inglés).

El contexto es el siguiente: en Estados Unidos, la ley de educación No Child Left Behind establece que los colegios públicos deben emplear programas y métodos de enseñanza basados en evidencias. Esta disposición obliga, en cierta forma, a la administración a facilitar a los colegios información clara y fiable sobre cuáles son esos métodos. Una forma de dar esa información es mediante What Works Clearinghouse (WWC), institución que revisa la investigación pedagógica, la valora y la sintetiza, informando sobre los métodos de enseñanza que han mostrado su eficacia.

Uno de los buscadores de WWC, desde donde he accedido a la información.

Dedicando un poco de tiempo se puede realizar una búsqueda de cuáles son los métodos que cuentan con mayor respaldo según los criterios de WWC. Estos criterios son bastante exigentes, sobre todo, en cuanto a la calidad de las investigaciones que sustenten el método de intervención.

WWC ofrece los datos sobre el efecto de las intervenciones en forma de índice de mejora. El índice de mejora es la diferencia entre el percentil 50 (percentil de la media del grupo de control) y el percentil en que se encuentra la media de resultados del grupo de intervención. Para entenderlo mejor, si tenemos 100 alumnos y los ordenamos de menor a mayor según los resultados en una evaluación de comprensión lectora, el percentil es algo análogo a la posición que ocupa cada uno de esos alumnos en la lista de resultados. Si al alumno que está en el puesto 50 (percentil 50) le aplicamos una intervención de mejora de la comprensión y, como consecuencia, pasa a estar en el puesto 62, su índice de mejora será 12 (diferencia entre el percentil 50 y el percentil 62).

Intervenciones con efectos positivos

WWC denomina así a las intervenciones que muestran evidencias fuertes de un efecto positivo sin que haya datos sustantivos que indiquen lo contrario. La condiciones son que dos o más estudios muestren efectos estadísticamente significativos, que al menos uno de los estudios cumpla las condiciones para ser considerado de alta calidad, y que no existan estudios que muestren efectos negativos  significativos.

En el momento de escribir esta entrada WWC solo incluye en su base de datos una intervención con efectos positivos sobre la comprensión lectora, que es Sound Partners, con un índice de mejora de 21. Este programa también tiene efectos positivos sobre el aprendizaje de las letras y la fluidez lectora. Se trata de una intervención fonológica que se realiza con estudiantes de 3º de primaria con dificultades de lectura en la que se trabajan las correspondencias entre letras y sonidos, la lectura y escritura de palabras regulares y de palabras irregulares muy frecuentes, y la lectura en voz alta.

Intervenciones con efectos positivos potenciales

Estas intervenciones muestran evidencias de un efecto positivos sin que haya evidencias contrarias. En este caso debe haber al menos un estudio que muestre un efecto positivo claro y significativamente estadístico, no debe haber estudios que muestren efectos negativos significativos, y el número de estudios que muestren efectos indeterminados debe ser igual o menor que el número de estudios con efectos positivos.

En este caso WWC nos muestra 16 intervenciones distintas. Ordenadas por su índice de mejora (IM) son:

• SpellRead: IM 20
• Project Criss: IM 20
• Peer-Assisted Learning Strategies: IM 19 -aplicado a adolescentes-
• Early Intervention in Reading (EIR): IM 18
• Reading Recovery: IM 14
• Start Making a Reader Today (SMART): IM 14
• Peer-Assisted Learning Strategies: IM 13 -aplicado a niños-
• Lexia Reading: IM 11
• SuccessMaker: IM 11
• Failure Free Reading: IM 10
• Fast ForWord: IM 8
• Cooperative Integrated Reading and Composition (CIRC): IM 7
• Student team reading and writing: IM 7
• Read 180: IM 4
• Reading Apprenticeship: IM 2
• Reading Plus: IM 2

Comentario

Hay otros programas que no menciono aquí, porque son los que se clasifican en los grupos de efectos mixtos, sin efecto, y efectos potencialmente negativos. Además WWC da bastante información sobre intervenciones que no han sido revisadas porque las investigaciones realizadas sobre ellas no cumplen los criterios de calidad.

Me resulta chocante la comparación entre estos 17 programas, que han sido investigados para conocer sus efectos sobre la comprensión lectora, y el trabajo de comprensión que conozco, que se basa en dos pilares, que son el empleo de los ejercicios de comprensión del libro de texto o de cuadernillos de comprensión lectora, y políticas de mejora de la comprensión promovidas por las comunidades autónomas. En el mejor de los casos, estos programas están basados en los conocimientos sobre la comprensión que hemos obtenido a partir de la investigación, pero es poco frecuente que se haya estudiado su eficacia comparando los resultados de alumnos que siguen esa intervención con los de otros alumnos que utilizan un programa diferente.

La enciclopedia de las mejores prácticas

El logotipo de la enciclopedia de las mejores prácticas es una abeja lectora. ¿Por qué? porque las iniciales de Best Evidence Encyclopaedia forman la palabra BEE, abeja, en inglés, y la enciclopedia está hecha por el Instituto para la Educación Eficaz, de la Universidad de York.

Esta enciclopedia es, en realidad, una web donde se ofrece información acerca de la eficacia de programas educativos para la mejora de la lectura, de las matemáticas y de la educación infantil.

En el caso que nos interesa, que es el de la lectura, se ofrecen los siguientes apartados:

• Inicios de la lectura.
• Lectores con dificultades.
• Lectura en primaria.
• Lectura en secundaria.
• Lectura del inglés como idioma adicional.
• TICs para la lectura.

En cada una de estas secciones se ofrece un informe en PDF, o se puede consultar la información a través de enlaces en los que se puede ver un resumen de la revisión realizada, o información sobre los métodos analizados, dividida en tres categorías: métodos mejor calificados, métodos con evidencias limitadas, y otros métodos.

En los métodos mejor calificados se distingue entre los que muestran evidencias fuertes de eficacia y los que muestran evidencias moderadas. En los métodos con evidencias limitadas se distingue entre los que están respaldados por evidencias consistentes pero muestran un efecto pequeño, y los que muestran un efecto grande pero están respaldados por evidencias débiles. Los que se describen en el apartado de otros métodos también se dividen en dos tipos, los que no alcanzaban un nivel mínimo de evidencia y los que no cumplían los requisitos para ser revisados.

Para hacerse una idea del trabajo realizado, en la sección de lectura en primaria se revisan 17 programas en las secciones de métodos mejor calificados y métodos con evidencias limitadas. En la sección de otros métodos se ofrece la referencia a 201 un programas (más de 100 no se analizan por no estar en uso en el Reino Unido).

La información que se da es muy breve, de modo que se incluyen pocos datos técnicos o estadísticos, pero tampoco se profundiza en la descripción de los programas. La ventaja es que la enciclopedia de las mejores prácticas es mucho más sencilla de leer que, por ejemplo, What Works Clearinghouse. El inconveniente es que si uno quiere saber más sobre los métodos valorados tiene que buscar información en otros sitios.

¿Se imaginan que se pudiera disponer de una base de datos donde se revisasen más de 200 intervenciones para la mejora de la lectura en español y se distinguiese a las más eficaces? Un compañero mío dice que eso es imposible porque ni siquiera hay 200 intervenciones que revisar. Yo creo que sí las hay, contando como intervenciones las propuestas de lectura que realizan o han realizado las distintas editoriales de textos escolares. Otra cuestión es que la mayoría de ellas sería calificadas como «otras intervenciones» porque no hay ningún estudio acerca de su eficacia.

Conviértase en investigador con la base de datos de PISA

Algo poco conocido de PISA es que los datos en bruto de cada una de las evaluaciones se ponen a disposición pública, junto con otros materiales como cuestionarios o libros de códigos. Se puede acceder a todos estos ficheros en la sección de descargas de PISA.

Pero no es imprescindible descargar un enorme conjunto de datos para analizarlos en un programa de estadística, ya que en la misma página se ofrece una aplicación que relaciona los resultados en las pruebas de competencias con información recogida en los cuestionarios de alumnos, padres y colegios.

Con esta aplicación voy a obtener datos sobre la relación entre ofertar clubs de lectura como actividad extraescolar y la comprensión lectora. Para eso selecciono en la lista de países «ESP-Spain», y en la lista de variables escolares «SC13Q05-Book club». Pulso el botón «create tables» y obtengo el siguiente resultado:

Variable:	SC13Q05	«Book Club»
	Full question:	«Extra-Curricular Activities Offered by School – Book club».
Category:	1	Yes
	2	No

					Reading		Mathematics		Science
Country	Variable	Category	%	(%SE)	Mean	(SE)	Mean	(SE)	Mean	(SE)
Spain	SC13Q05	1	34.23	(2.92)	477	(3.83)	481	(3.38)	485	(3.71)
Spain	SC13Q05	2	61.03	(2.71)	482	(2.72)	484	(2.96)	490	(2.68)
Spain	SC13Q05	m	4.73	(1.28)	495	(10.23)	495	(10.05)	496	(9.31)
OECD Total	SC13Q05	1	42.33	(1.16)	492	(2.30)	487	(2.37)	494	(2.39)
OECD Total	SC13Q05	2	55.05	(1.26)	492	(1.83)	489	(1.73)	499	(1.90)
OECD Total	SC13Q05	m	2.62	(0.47)	492	(6.38)	486	(6.28)	500	(6.43)
OECD Average	SC13Q05	1	31.03	(0.50)	497	(1.53)	499	(1.64)	504	(1.53)
OECD Average	SC13Q05	2	66.62	(0.51)	492	(0.92)	494	(1.01)	499	(1.11)
OECD Average	SC13Q05	m	2.79	(0.22)	491	(3.78)	487	(3.60)	493	(3.90)

La letra «m» hace referencia a los datos perdidos (missing), porque no se contestó a la pregunta, o se hizo de forma incorrecta. Los resultados de España se presentan en las filas con el título «Spain», y los de la OCDE se presentan de dos formas: «OECD Total», que es el resultado medio de todos los alumnos de la OCDE y «OECD Average», que es el resultado medio de una selección de alumnos proporcional al número de habitantes de cada país.

Una vez que sabemos leer la tabla, podemos comprobar que en España, los colegios con clubes de lectura tienen una media de 477 puntos en la prueba de competencia lectora, mientras que los que no ofertan esa actividad tienen una media de 482 puntos. ¿Es mucha o poca diferencia? La aplicación no nos dice si la diferencia es significativa, pero con los datos que ofrece es posible aproximarse al tamaño del efecto.

La d de Cohen es la diferencia entre la media de los dos grupos, dividida entre la desviación típica   pero en este caso no conocemos la desviación típica combinada, sino la de cada uno de los grupos. Para no complicarlo mucho, voy a tomar la desviación típica del grupo mayor (el 2, no hay club de lectura).  El resultado es -1,84: los colegios con club de lectura obtienen como media una puntuación de comprensión lectora 5 puntos menor que los colegios sin club de lectura, que es una diferencia superior a 1,5 desviaciones típicas.

No es necesario clausurar los clubs de lectura. El primer motivo es que cuando se observan los resultados totales de la OCDE la media de los colegios con club de lectura es exactamente igual que la de los que no la tienen. El segundo motivo es porque no estamos hablando de una relación causa efecto, sino de una correlación. Al describir los colegios españoles resulta que los que ofertan clubs de lectura tienen una puntuación menor en competencia lectora, pero de ahí no se deduce que el club de lectura sea la causa de la diferencia.  ¿Cuál es la causa? Con esta forma de trabajo no se puede saber.

Bueno; ahí queda este recurso que permite obtener información sobre la relación entre comprensión lectora y variables como la actitud de los alumnos ante la lectura y el estudio, su relación con las Tics, o el funcionamiento de los colegios. Lo mejor de todo, que no hay que esperar a que lo cuenten en los periódicos o en la inspección.

Para más adelante me queda una duda: ¿por qué Pisa utiliza una escala con media de 500 y desviación típica 100, y resulta que las desviaciones típicas que ofrece esta aplicación raramente superan el 10?

Un ejemplo a seguir: What Works Clearinghouse / Doing What Works

«Si esto se hace con la investigación sobre educación en español, cierro el blog y me dedico a otra cosa». Esto es lo que me viene a la cabeza cada vez que entro en la web de What Works Clearinghouse (WWC), una iniciativa del Departamento de Educación de Estados Unidos donde se dedican a revisar, evaluar y sintetizar la investigación sobre métodos de intervención en educación, y a elaborar guías prácticas para educadores acerca de las intervenciones que han mostrado su eficacia.

Una de las seis grandes áreas que se están trabajando es la de lectura y escritura, y dentro de ella se distingue una parte de comprensión lectora. Cuando se utiliza el buscador de intervenciones para localizar aquellas que muestran evidencias de eficacia aparecen, del día que escribo esta entrada, 15 referencias a métodos de mejora de la comprensión lectora. La información se organiza en una tabla donde se nombra la intervención, el nivel en el que se ha empleado, el índice de mejora que ha producido, una valoración de su efectividad y otra valoración del nivel de evidencias que ofrece. Pinchando en el nombre del programa se ofrece una información más detallada.

Guía de WWC

WWC también edita guías para educadores que ofrecen recomendaciones prácticas basadas en evidencias. En 2010 se publicó una sobre la mejora de la comprensión lectora desde educación infantil hasta el tercer curso de primaria.

 Información complementaria

· Vídeo guía sobre WWC (en inglés)

· Improving Reading Comprehension in Kindergarten Through 3rd Grade.