Archivo de la etiqueta: correlación

El mapa de la temperatura de Pearson

A pesar del título esta entrada no trata sobre meteorología. Pearson es una editorial internacional especializada en temas educativos que ha puesto en marcha una sección de análisis de indicadores relacionados con el rendimiento escolar. Los datos que ofrece Pearson están tomados de evaluaciones como PISA, TIMMS o PIRLS, y de datos oficiales de los países que se analizan, como el producto interior bruto, la tasa de graduación, el paro en población con titulación superior,… Toda esta información es pública y se puede encontrar en otros sitios, pero aquí han desarrollado algunas herramientas ingeniosas para acceder a ella con facilidad, y poder hacer algunos análisis básicos de forma rápida e intuitiva.

Una herramienta que me ha llamado la atención es el mapa de la temperatura: se trata de un mapa del mundo en el que seleccionas un indicador y cada país (del que haya datos) aparecerá de un diferente según el resultado que haya obtenido en ese indicador. Además se puede seleccionar el año del que quieres los datos, y, simplemente deslizando el selector del año, se puede ver algo parecido a una animación de cómo evolucionan los distintos países en ese indicador.

Un ejemplo

La mejor manera de ver las virtudes y los defectos de la herramienta es mediante un ejemplo, como la evolución de la distancia entre el salario de los profesores y el salario medio de cada país. En el mapa se puede ver que hay países en loas que la diferencia entre salario de los profesores y salario medio se mantiene estable a lo largo del tiempo, como Estados Unidos en el rango entre 0,2 y 1,4 o Alemania en el rango entre 1,4 y 2,1. España ha sido un país bastante regular, situándose casi siempre en el mismo rango que Alemania, aunque en 2000 y 2001 alcanzó el rango entre 2,1 y 3,3. En ningún momento el sueldo relativo de los profesores finlandeses fue mejor que el de los españoles.

Sueldo relativo de los profesores en 2001

Sueldo relativo de los profesores en 2001

Por si alguna vez tengo que emigrar miro cuáles son los países con mejores sueldos relativos y el que más me convence es Chile. Esto me sirve para hablar de los problemas del mapa de Pearson, porque el primero es que casi no explica en qué consisten los indicadores que mide, que son cosas como “gasto público por alumno como % del producto interior bruto per cápita”, “productividad global del trabajo (producto interior bruto en relación con la paridad del poder adquisitivo por trabajador en dólares)”, o “índice de desarrollo humano”. Si en español me cuesta distinguir entre sueldo, salario, ingresos, ganancias, salario bruto,… en inglés lo tengo menos claro. Otro problema es el uso del mismo color, o un color muy parecido, cuando un país está en la zona baja del indicador y cuando no hay datos disponibles sobre ese indicador.

En fin, para lo que nos interesa aquí, una curiosa herramienta para poder ver con facilidad (e imprecisión) la evolución de un país, o para comparar a varios países en predictores e indicadores del rendimiento escolar, y en indicadores del desarrollo económico y social. Entre los indicadores escolares incluye información sobre PISA, TIMMS, PIRLS, y la tasa de graduación en educación secundaria y en educación superior.

Deja un comentario

Archivado bajo Evaluaciones internacionales

¡Vamos a leerles un cuento!

¡Vamos a leerles un cuento! El factor parental en educación es el título de una monografía publicada por Series: PISA que plantea que para los padres nunca es demasiado pronto ni demasiado tarde para implicarse en la educación de los hijos.

Portada del libro

La idea ya estaba sugerida en el informe breve Qué pueden hacer los padres para ayudar a sus hijos a tener éxito en la escuela, que comenté en el blog. Los datos están obtenidos de la evaluación PISA 2009, en la que se empleó en 13 países (España no estaba entre ellos, pero sí Panamá) un cuestionario para los padres de los alumnos que eran evaluados.

Cuando los niños son pequeños

El análisis de los datos mostraba que a los 15 años, obtenían mejores resultados en competencia lectora los alumnos a los que sus padres les leían cuentos a la edad en que se entraba en Primaria, algo que curiosamente no sucedía en Lituania. Una aportación de PISA a esa idea es que muestra como esa ventaja se mantiene entre familias con niveles socio-económicos parecidos.

La lectura de historias en casa o las canciones infantiles se relacionan con un mayor interés y disfrute de la lectura cuando los hijos tienen 15 años. Este efecto no se producía con actividades como el uso de juguetes relacionados con el alfabeto.

Un dato que no se comenta pero que ha llamado mi atención es que en los países en los que la mayor parte de los padres se implican en la lectura historias a sus hijos, como Nueva Zelanda (96% de padres implicados), Dinamarca (92%), la diferencia que supone esta actividad en el rendimiento a los 15 años es bastante mayor que en los lugares donde hay menor implicación, como Macao (54% de padres implicados) o Hong-Kong (51%). ¿Puede ser que la implicación sea mayor si existe una percepción de va a resultar útil?

Otra cuestión interesante es que la cantidad de tiempo que se dedique a leer con los hijos es menos importante que el hecho de leer con ellos, es decir, hay más diferencias entre los niños a los que se les lee y los niños a los que no se les lee que entre los niños a los que se les lee mucho y los niños a los que se les lee poco. Hay bastantes familias en las que el tiempo que se tiene que dedicar al trabajo dificulta la implicación en la educación de los hijos. En esos casos puede ser esperanzador saber que un pequeño esfuerzo puede suponer una diferencia notable.

Cuando se van haciendo mayores

Por regla general, los alumnos de 15 años con padres que muestran un interés activo en sus vidas y en sus pensamientos son más competentes en lectura. Hablar con los adolescentes, tratar con ellos temas sociales o políticos está más relacionado con buenos resultados en lectura que acompañarlos a la biblioteca o a la librería. Hablar con los hijos sobre libros, películas o programas de televisión también se relaciona con mejores resultados en lectura en la mayoría de los países que participaron en el estudio.

Otra actitud de los padres que se relaciona con buenos resultados en competencia lectora de los hijos es el interés por la lectura. Tanto los estudiantes con nivel sociocultural alto como los estudiantes con nivel sociocultural bajo parecen obtener mejores resultados cuando a sus padres les gusta leer, y los resultados son más bajos cuando se considera que la lectura es una pérdida de tiempo.

Algunos resultados paradójicos

Hay un dato que ilustra muy bien con qué cautela deben interpretarse este tipo de estudios. Se trata del efecto que tiene la colaboración de los padres con el colegio en el rendimiento de los niños. ¿Piensa usted que los hijos de padres que se entrevistan con los profesores para hablar del rendimiento y el comportamiento de los alumnos obtienen mejores resultados en comprensión lectora? Pues resulta más bien al contrario. El mejor rendimiento lo obtienen los hijos de padres que durante el último curso no se han entrevistado con los profesores de sus hijos. ¿No es esto lo contrario de lo que se quiere transmitir aquí (nunca es demasiado tarde ni demasiado pronto para implicarse en la educación de los hijos)?

Si el dato le ha sorprendido, piense por un momento ¿cuándo hay más motivos para que se convoque una entrevista entre la familia y el profesorado? ¿Cuando el alumno va bien en el colegio o cuando va mal? Lo que probablemente quiere decir esto es que muchos profesores esperan a que un alumno tenga problemas antes de convocar a la familia, y muchos padres no sienten interés por entrevistarse con los profesores hasta que constatan que algo va mal.

Algo parecido sucede con la tarea escolar. Los alumnos que reciben ayuda de sus padres para realizar las tareas obtienen resultados más bajos en comprensión lectora que los que no la reciben. ¿Significa esto que hay que dejar de ayudarles? Probablemente no es lo más adecuado, y lo que sucede es, sencillamente, que los alumnos que obtienen buenos resultados no necesitan esa ayuda.

Programas eficaces

En cada capítulo se describen varios programas relacionados con el tema tratado que producen una implicación efectiva de los padres en la educación de sus hijos (no se explica cómo se ha valorado esa efectividad, algo que hubiera sido interesante). Es una información útil para quien busque ideas sobre qué se puede hacer para mejorar el rendimento en lectura de niños y jóvenes. Normalmente se trata de programas nacionales como “Toda Polonia lee a los niños”, “Programa parental para la educación temprana (Rumanía)”, “Profesores preceptores (Japón)”, o “Bookstart (Reino Unido)”.

Otros dependen de otras organizaciónes, como “Leéme, papá (Suecia)”, que implica a los sindicatos, “826 Valencia (Estados Unidos)” o “Niños del Harlem (Estados Unidos)”, que dependen de ONGs, o “La familia como educador (Israel)”, que surgió a partir de un proyecto de investigación.

Deja un comentario

Archivado bajo Evaluaciones internacionales, Intervención a través de la familia

Precursores de la comprensión lectora

Comento una investigación de Jane Oakhill y Kate Cain, en la que siguieron a un grupo de alumnos entre 2º y 5º de primaria para averiguar qué habilidades y conocimientos de 2º podría predecir su comprensión lectora en 5º.

Jane Oakhill (de su web en la Universidad de Sussex)

Antes de entrar en materia quiero comentar que estas dos investigadoras han aportado mucho al estudio de la comprensión lectora y su desarrollo, y me parece interesante leer todo lo que publican. Si alguien comparte mi interés puede acceder a bastantes de sus trabajos pinchando en el párrafo anterior en el enlace a la web de Cain.

Kate Cain (de su web en la Universidad de Lancaster)

El artículo que comento hoy describe una investigación en la que se evaluó a 102 alumnos de 2º de Primaria (year 3, en Inglaterra), y volvieron a ser evaluados en 3º y 5º de Primaria. Con esos datos construyeron un modelo basado en el análisis de regresión. Según este modelo, las variables evaluadas en 2º de Primaria que permiten predecir la comprensión en 3º de Primaria son, por orden de importancia:

  • La comprensión lectora en 1º de Primaria (bueno, esto no es ninguna sorpresa).
  • El vocabulario.
  • Los conocimientos sobre la estructura de una historia.
  • El cociente intelectual verbal.

Y las variables evaluadas en 3º de Primaria que permiten predecir la comprensión lectora en 5º de Primaria son (por orden de importancia).

  • La comprensión lectora en 3º de Primaria.
  • La habilidad para construir inferencias.
  • La capacidad de detectar inconsistencias en el texto, que las autoras identifican con la autosupervisión de la comprensión.

A su vez, la habilidad para construir inferencias se relaciona con variables evaluadas en 2º de Primaria, concretamente, la comprensión lectora y el vocabulario, y la capacidad para detectar inconsistencias se relaciona con la comprensión lectora de 2º, el cociente intelectual no verbal y la capacidad para detectar inconsistencias evaluada en 2º curso.

¿Qué se quedó fuera del modelo? Pues cosas como la habilidad fonológica, la memoria de trabajo, el conocimiento gramatical o la descodificación, que en algunos casos estaban relacionados con la comprensión lectora, pero no la predecían mejor que las variables que se han mencionado antes.

Implicaciones para la educación

Aunque a algunas personas les pueda parecer increíble, esta investigación resulta muy interesante para el trabajo en las aulas de Educación Primaria. Por qué, por que identifica una serie de variables que se han mostrado muy relacionadas con la comprensión lectora de uno o dos cursos después, y porque algunas de esas variables se corresponden con habilidades que se pueden enseñar y mejorar, concretamente los conocimientos sobre la estructura de las historias, la habilidad para construir inferencias y la capacidad de detectar inconsistencias / supervisión de la propia comprensión. Si se elimina el efecto del desarrollo del lenguaje de los alumnos (cociente intelectual verbal y vocabulario) y de la comprensión en cursos anteriores, las tres variables mencionadas explican el 16% de los resultados de comprensión lectora en 5º de Educación Primaria.

Sabiendo todo esto, si voy a hacer un plan de mejora de la comprensión lectora de mis alumnos, trataría de tener cubiertas esas tres habilidades: conocimiento de la estructura de las historias, construcción de inferencias y supervisión de la propia comprensión (no se me olvida el vocabulario, que también aparece en el modelo y se puede enseñar, tal vez le dedique una entrada exclusiva).

Preparar eso es difícil y lleva mucho tiempo. Perfectamente de acuerdo. Desafortunadamente tenemos pocos programas de intervención basados en un modelo sólido del desarrollo de la comprensión lectora (y menos con una eficacia comprobada). Escribiendo en google “fichas de comprensión lectora para imprimir” me aparecen 27.800 resultados para preparar actividades de comprensión lectora con poco esfuerzo, pero yo no voy a descargar ninguna de esas.

Deja un comentario

Archivado bajo Modelos de comprensión

Predictores de la competencia lectora en niños chilenos

No se hacen muchas publicaciones de estudios sobre la comprensión lectora de niños hablantes de español, de modo que puede ser interesante destacar este estudio longitudinal, recientemente publicado por Kim Young-Suk y Daniel Pallante, y titulado Predictores de las habilidades de lectura de alumnos de educación infantil y primer curso de primaria en español: un estudio longitudinal.

En este estudio se siguió a 163 alumnos del último curso de educación infantil y 305 alumnos del primer curso de primaria, de colegios privados de Santiago de Chile, procedentes de familias con un nivel socio-económico alto. Estos alumnos fueron evaluados tres veces, a principio, a mitad y al final del curso escolar. A los niños de infantil se les evaluó el vocabulario, habilidad fonológica, velocidad en el reconocimiento de letras y lectura de palabras. A los niños de primaria se les evaluó con pruebas de vocabulario, lectura de palabras, velocidad de lectura de palabras inventadas (pseudopalabras) y comprensión lectora.

Alumnas de uno de los centros donde se realizó el estudio (foto tomada de la web del Colegio los Andes, de Santiago de Chile)

Evidentemente, los datos que nos interesan son los del grupo de primer curso, en los que se evaluaba la comprensión lectora. Sin que hubiera ninguna sorpresa, la medida que mayor correlación tenía con la comprensión lectora a final de curso era la comprensión lectora a mitad de curso. Centrándose en cómo se relacionaban las cuatro medidas tomadas a principio de curso con la comprensión lectora a final de curso, el mejor predictor sería la comprensión lectora a principio de curso con un tamaño del efecto r = 0,56.  En segundo lugar estaría la lectura de palabras ( r = 0,49), seguida por la velocidad en la lectura de palabras inventadas ( r = 0,37) y el vocabulario ( r = 0,36).

Los datos parecen indicar que una vez que se alcanza un cierto nivel de corrección en la lectura de palabras, la mejora en esta habilidad produce poco efecto sobre la comprensión lectora, mientras que en los alumnos con rendimiento muy bajo en lectura de palabras las mejoras en la precisión de lectura producen mejoras notables en la comprensión lectora. Estos resultados son, y así lo manifiestan los autores, compatibles con la concepción simple de la lectura, un modelo que propone que la comprensión lectora depende de la habilidad de descodificación y de la comprensión oral de los lectores.

Aplicación del resultado

Puede parecer que este tipo de investigaciones aportan poco a la práctica educativa, pero no tiene por qué ser así. Evidentemente los resultados de Young-Suk y Pallante no nos van a decir qué fichas tiene que hacer un alumno que obtiene bajos resultados de comprensión pero sí apoyan una idea importante: cuando el nivel de descodificación (lectura precisa y sin errores) es bajo una de las mejores intervenciones que se pueden hacer para mejorar la comprensión lectora es mejorar la precisión del alumno al leer. Esto es relevante porque en los últimos años se está los colegios están trabajando con intensidad la mejora de la comprensión lectora, y esa intensidad puede hacer (he conocido algunos ejemplos) que se olvide este principio fundamental: mientras un alumno no tiene un nivel suficiente de lectura todas las estrategias de comprensión que le enseñemos serán poco eficaces.

Cuando yo estudiaba los primeros cursos de EGB el objetivo estaba en desarrollar una buena lectura mecánica y se practicaba y se practicaba la lectura, con cierto aburrimiento de los que ya teníamos un nivel suficiente. El peligro actual es pasar al extremo opuesto y tratar de conseguir una buena comprensión dejando atrás a los alumnos que no hayan conseguido una habilidad de lectura mecánica suficiente.

¿Y por qué estaban dos investigadores de Estados Unidos siguiendo a alumnos chilenos?

Lo primero que me llamó la atención en esta investigación es que Daniel Pallante es director del Collaborative Language and Literacy Instruction Project CLLIP, de Ohio y Kim Young-Suk es profesor en la Universidad Estatal de Florida. Por lo que he podido averiguar, en 2009 un grupo de educadores chilenos estuvo visitando la escuela elemental de Meadowdale, que aplicaba el CLLIP, para tener contacto directo con el programa, que se estaba aplicando en Chile al menos desde 2008.

Los colegios en los que se realizó  el estudio longitudinal, pertenecientes a la red Seduc, estaban, en realidad experimentando el projecto CLLIP, y estos datos forman parte, probablemente, de esa investigación.

Deja un comentario

Archivado bajo Modelo simple de la comprensión lectora, Modelos de comprensión

Desliz del ministerio: la correlación no es causalidad

La nota de prensa con la que el Ministerio de Educación presentó los resultados de la evaluación general de diagnóstico 2010 dice:

Ni el centro elegido, ni la repetición de curso, ni la comunidad autónoma en la que se viva: lo que más determina el éxito escolar son las propias expectativas académicas del alumnado, seguidas de variables como el nivel de estudios de los padres y del número de libros que hay en casa. Así se desprende de la Evaluación General de Diagnóstico 2010, realizada entre estudiantes de 2º de ESO de las 17 comunidades autónomas españolas y las ciudades autónomas de Ceuta y Melilla.

Mario Bedera presentando los resultados de la evaluación (de la nota de prensa del ministerio)

Vaya por delante que nadie está libre de error y que, sin ir más lejos leyendo con atención estas cosas que escribo seguro que se pueden encontrar meteduras de pata de distintos calibres. Pero, cuando un error puede llevar a adoptar decisiones incorrectas creo que es necesario señalarlo. En este caso, se trata de problema bastante frecuente en investigación: confundir la correlación con la causalidad.

En la evaluación de diagnóstico se han evaluado los resultados de los alumnos en cuatro competencias y se han tomado, mediante cuestionarios, datos de los alumnos y de los centros en los que estudian. Analizando todo esa información mediante correlaciones o mediante análisis de regresión, se puede ver cómo hay relación entre los resultados de los alumnos y otras variables, pero este método de estudio no permite establecer qué variables son causas y cuáles son efectos.

El ejemplo que nos da el Ministerio de Educación es muy bueno: las espectativas del alumnado. La correlación entre espectativas y resultados entre la prueba de competencia lingüística es… ¡vaya!, el informe no nos da ese dato. Pero sí que ofrece un gráfico en el que se aprecia que hay 113 puntos de diferencia entre los resultados de los que solo esperan terminar los estudios obligatorios y los resultados de los que esperan graduarse en la universidad. Es más de una desviación típica, así que se puede intuir que la correlación entre expectativas académicas del alumnado y rendimiento en competencia lingüística es grandísima, pero ¿son esas expectativas lo que determina el rendimiento, tal como nos dice el ministerio? Hay una interpretación alternativa muy verosímil y es que los alumnos ajustan sus expectativas a sus resultados. Supongamos que los alumnos con menor competencia lingüística obtienen más suspensos que sus compañeros. Es probable que piensen que su futuro no pasa por graduarse en filosofía, y, con cierta cantidad de suspensos sepan que ni siquiera van a poder acceder a enseñanzas medias de formación profesional al terminar la ESO. Por otra parte no hay nada sorprendente en que el alumno que obtiene resultados altos esté pensando en acudir a la universidad y realizar estudios superiores.

Del mismo modo que los datos relacionales recogidos en la evaluación no permiten decir que las expectativas altas sean causa del buen rendimiento, tampoco se puede afirmar que buen rendimiento sea la causa de las expectativas altas. Para llegar a esas conclusiones habría que utilizar otros métodos de investigación.

¿Qué consecuencias puede tener este error? Si aceptamos que las expectativas del alumnado son lo que más determina el nivel de competencia que alcanza, para qué vamos a desperdiciar recursos interviniendo sobre otros factores como la formación del profesorado, los contenidos de los programas, o la atención a la diversidad (la verdad es que esos tres no han sido analizados en la evaluación), el clima escolar, o la distribución del alumnado extranjero. Basta con convencer al alumnado o emplear técnicas de “coaching” para que aspiren a alcanzar el máximo nivel de estudios.

Cuando escribo esto la temperatura en la calle es de 6 grados. Sumergiré el termómetro en agua caliente hasta que marque 30º y saldré a la calle en camiseta de tirantes. Va a ser una mañana calurosa.

Queda otra cosa que no me acaba de encajar y es que, según la nota de prensa, tras las expectativas de los alumnos, lo que más determina el éxito escolar es el nivel de estudios de los padres y el número de libros que hay en casa.

Intentando ver si hay otras variables que tengan mayor relación con el rendimiento de los alumnos me doy cuenta de que en el informe se dan resultados por alumnos, por centros y por comunidades autónomas. A veces se dan diferencias de medias, a veces el porcentaje de varianza del rendimiento explicado por una variable y a veces el coeficiente de determinación (¿igual han establecido que hay ciertas variables que determinan el rendimiento de los alumnos por el nombre ese de coeficiente de determinación?). Tras una hora y media dando vueltas a los resultados dejo para otras personas más capaces y pacientes la tarea de desentrañar todo eso.

También introduzco correcciones en mi entrada anterior. Me he dado cuenta de que me había equivocado en algunas cosas. Errare humanum est.

Información adicional

· La nota de prensa del ministerio.

Deja un comentario

Archivado bajo Curiosidades, Evaluaciones nacionales

El coeficiente de correlación como tamaño del efecto

Hasta ahora, la mayor parte de las revisiones comentadas utilizaban como medida del tamaño del efecto una diferencia de medias estandarizada, como la d de Cohen o la g de Hedges. Estas medidas informan acerca de cuánta mejora produce una intervención, medida como cantidad de desviaciones típicas de diferencia entre el grupo experimental y el grupo de control, o entre un mismo grupo antes y después de la intervención.

En la entrada anterior, sobre la relación entre afición a la lectura y comprensión lectora, se presentaba una revisión de estudios en los que no se ha realizado ninguna intervención, sino que ofrecen datos sobre la relación que hay entre la cantidad de lectura a la que están expuestos los alumnos y su habilidad lectora. En este caso, el tamaño del efecto se mide con el coeficiente de correlación, que se representa mediante la letra r, y que es una medida muy adecuada para este propósito.

El coeficiente de correlación informa sobre la fuerza de la relación entre dos variables. Por ejemplo, existe una relación entre consumo de alcohol y accidentes, ya que a mayor consumo mayor probabilidad de sufrir un accidente. Son, por tanto, dos variables relacionadas.

El coeficiente de correlación es un número, casi siempre decimal, que va desde -1 hasta 1. Los coeficientes negativos indican que hay una relación, pero que es inversa: cuando el valor de una variable aumenta, el otro tiende a disminuir. El número 0 indica que no existe relación entre esas variables, y el 1 que la relación es perfecta: los cambios en una variable son idénticos a los cambios en la otra.

Un coeficiente de correlación entre 0,10 y 0,30 se suele considerar un tamaño del efecto pequeño. Entre 0,30 y 0,50 se considera un tamaño del efecto medio, y si es mayor que 0,50 un tamaño del efecto grande.

Al hacer un metanálisis, algunos autores convierten los coeficientes de correlación  mediante la transformación de Fisher, para obtener puntuaciones con una distribución normal. Es una práctica sobre la que aún existe debate, y no todos los métodos de metanálisis la emplean.

Otra transformación común es elevar la correlación al cuadrado para convertirla en R2, también conocido como coeficiente de determinación. Es lo que han hecho en el vídeo que acompaña esta entrada de forma un poco confusa, ya que al hablar del coeficiente de correlación de Pearson hubieran debido referirse a r, no a su transformación. Al hacer esta operación se impide que haya valores negativos, y los valores obtenidos estarán entre 0 y 1. Multiplicando el coeficiente de determinación por 100 se halla la proporción de varianza compartida por las dos variables estudiadas. En cierto modo,  R2 se puede leer como el tanto por ciento de varianza compartida o solapamiento. Si es igual a 1, las dos variables comparten el 100%. Si es igual a 0,5, conociendo los resultados en una variable podríamos predecir el 50% del resultado de la otra variable.

Información adicional

· El coeficiente de correlación.

2 comentarios

Archivado bajo Tamaño del efecto

Conviértase en investigador con la base de datos de PISA

Algo poco conocido de PISA es que los datos en bruto de cada una de las evaluaciones se ponen a disposición pública, junto con otros materiales como cuestionarios o libros de códigos. Se puede acceder a todos estos ficheros en la sección de descargas de PISA.

Pero no es imprescindible descargar un enorme conjunto de datos para analizarlos en un programa de estadística, ya que en la misma página se ofrece una aplicación que relaciona los resultados en las pruebas de competencias con información recogida en los cuestionarios de alumnos, padres y colegios.

Con esta aplicación voy a obtener datos sobre la relación entre ofertar clubs de lectura como actividad extraescolar y la comprensión lectora. Para eso selecciono en la lista de países “ESP-Spain”, y en la lista de variables escolares “SC13Q05-Book club”. Pulso el botón “create tables” y obtengo el siguiente resultado:

Variable: SC13Q05 “Book Club”
Full question: “Extra-Curricular Activities Offered by School – Book club”.
Category: 1 Yes
2 No
Reading Mathematics Science
Country Variable Category % (%SE) Mean (SE) Mean (SE) Mean (SE)
Spain SC13Q05 1 34.23 (2.92) 477 (3.83) 481 (3.38) 485 (3.71)
Spain SC13Q05 2 61.03 (2.71) 482 (2.72) 484 (2.96) 490 (2.68)
Spain SC13Q05 m 4.73 (1.28) 495 (10.23) 495 (10.05) 496 (9.31)
OECD Total SC13Q05 1 42.33 (1.16) 492 (2.30) 487 (2.37) 494 (2.39)
OECD Total SC13Q05 2 55.05 (1.26) 492 (1.83) 489 (1.73) 499 (1.90)
OECD Total SC13Q05 m 2.62 (0.47) 492 (6.38) 486 (6.28) 500 (6.43)
OECD Average SC13Q05 1 31.03 (0.50) 497 (1.53) 499 (1.64) 504 (1.53)
OECD Average SC13Q05 2 66.62 (0.51) 492 (0.92) 494 (1.01) 499 (1.11)
OECD Average SC13Q05 m 2.79 (0.22) 491 (3.78) 487 (3.60) 493 (3.90)

La letra “m” hace referencia a los datos perdidos (missing), porque no se contestó a la pregunta, o se hizo de forma incorrecta. Los resultados de España se presentan en las filas con el título “Spain”, y los de la OCDE se presentan de dos formas: “OECD Total”, que es el resultado medio de todos los alumnos de la OCDE y “OECD Average”, que es el resultado medio de una selección de alumnos proporcional al número de habitantes de cada país.

Una vez que sabemos leer la tabla, podemos comprobar que en España, los colegios con clubes de lectura tienen una media de 477 puntos en la prueba de competencia lectora, mientras que los que no ofertan esa actividad tienen una media de 482 puntos. ¿Es mucha o poca diferencia? La aplicación no nos dice si la diferencia es significativa, pero con los datos que ofrece es posible aproximarse al tamaño del efecto.

La d de Cohen es la diferencia entre la media de los dos grupos, dividida entre la desviación típica   pero en este caso no conocemos la desviación típica combinada, sino la de cada uno de los grupos. Para no complicarlo mucho, voy a tomar la desviación típica del grupo mayor (el 2, no hay club de lectura).  El resultado es -1,84: los colegios con club de lectura obtienen como media una puntuación de comprensión lectora 5 puntos menor que los colegios sin club de lectura, que es una diferencia superior a 1,5 desviaciones típicas.

No es necesario clausurar los clubs de lectura. El primer motivo es que cuando se observan los resultados totales de la OCDE la media de los colegios con club de lectura es exactamente igual que la de los que no la tienen. El segundo motivo es porque no estamos hablando de una relación causa efecto, sino de una correlación. Al describir los colegios españoles resulta que los que ofertan clubs de lectura tienen una puntuación menor en competencia lectora, pero de ahí no se deduce que el club de lectura sea la causa de la diferencia.  ¿Cuál es la causa? Con esta forma de trabajo no se puede saber.

Bueno; ahí queda este recurso que permite obtener información sobre la relación entre comprensión lectora y variables como la actitud de los alumnos ante la lectura y el estudio, su relación con las Tics, o el funcionamiento de los colegios. Lo mejor de todo, que no hay que esperar a que lo cuenten en los periódicos o en la inspección.

Para más adelante me queda una duda: ¿por qué Pisa utiliza una escala con media de 500 y desviación típica 100, y resulta que las desviaciones típicas que ofrece esta aplicación raramente superan el 10?

Comentarios desactivados en Conviértase en investigador con la base de datos de PISA

Archivado bajo Bases de datos, Evaluaciones internacionales

Variables evaluadas en educación infantil que predicen la comprensión lectora

Esta información está extaída del informe del National Early Literacy Panel. El informe del National Reading Panel no revisaba la investigación realizada con alumnos de educación infantil, por lo que esta revisión se centró en esos alumnos.

Portada del informe

Los datos que se ofrecen aquí son correlacionales, es decir, muestran que existe una relación entre los resultados que los alumnos obtienen en una variable y su posterior comprensión lectora, pero eso no significa que exista una relación causa-efecto. Por ejemplo, se identifica una relación entre el conocimiento de las letras en educación infantil y la comprensión lectora. ¿Qué pasaría si esta relación se debe a que las dos variables dependen de la capacidad intelectual de los alumnos? Podríamos empeñarnos en mejorar el conocimiento de las letras, y hacer que los niños conozcan todas las letras y las aprendan antes, pero eso no produciría una mejora en la comprensión lectora, porque no existiría una relación causal entre conocimiento del alfabeto y comprensión lectora (recuerdo que esto es un ejemplo). Para entenderlo mejor, atendiendo al tamaño del efecto, la relación entre aritmética y comprensión lectora era mayor que la relación entre lenguaje oral y comprensión lectora, pero esto no quiere decir que un método de mejora de la comprensión lectora basado en la aritmética vaya a tener más éxito que uno basado en la mejora del lenguaje oral.

Los predictores 

El NELP informa de que, según la investigación revisada, existe una correlación positiva entre 18 variables evaluadas en educación infantil y la comprensión lectora. Sin embargo, unos resultados eran mayores que otros, estaban sustentados por más o menos estudios, y en algunos casos eran homogéneos y en otros no. Examinando la tabla que ofrecen en la página 88 se puede destacar:
· El conocimiento del alfabeto: el tamaño del efecto (0,48) indica que hay un 23% de solapamiento entre esta variable y la comprensión lectora, y se calculó a partir de 17 estudios que representaban a 2038 alumnos. Aunque los resultados eran poco homogéneos, eran menos heterogéneos que en otras variables evaluadas en más de 10 grupos.
· La habilidad fonológica fue evaluada en 20 grupos y produjo un tamaño del efecto de 0,44.
· Los mayores tamaños del efecto se obtuvieron con los conocimientos acerca del lenguaje escrito (0,54) y la preparación para el aprendizaje de la lectura (0,59). Pero se trata de un dato poco fiable, ya que cada uno de estos resultados se obtuvo únicamente a partir de tres estudios. Por otra parte, la forma de evaluar la preparación para el aprendizaje de la lectura solía ser mediante una amalgama de pruebas que evaluaban otras variables.
· Por último, las pruebas de tipo perceptivo-visual producían los menores tamaños del efecto, entre 0,17 y 0,26.

Documentación adicional:

Informe del NELP: Report of the National Early Literacy Panel

Resumen del informe: Executive Summary

Deja un comentario

Archivado bajo Revisión sistemática