Archivo de la etiqueta: PISA

La lectura en PISA 2015. España y países hispanoamericanos.

Los medios de comunicación ya han dado cuenta de los resultados de PISA 2015. La evaluación se centró en la competencia del alumnado en ciencias, pero, como en todas las ediciones anteriores, también se evaluaron la competencia matemática y lectora.

Antes de ponerme a exponer y comentar resultados, recuerdo algunas cuestiones importantes de esta evaluación:

  • PISA evalúa a alumnado de 15 años, con independiencia del curso en que se encuentren.
  • Su objetivo es valorar los resultados de los sistemas educativos, no de los alumnos en particular. Cada alumno contesta una selección de items de evaluación y no todos los alumnos realizan los mismos items.
  • PISA recoge otras informaciones en cuestionarios que realizan los alumnos y los centros escolares. En algunos países también se han empleado cuestionarios para padres. Con esa información, se establecen relaciones entre el rendimiento de los alumnos y distintos factores sociales o escolares. La OCDE publica una gran cantidad de material con esos análisis. Sobre PISA 2015 ya se han publicado dos volúmenes y hay otros tres en preparación.
  • Las pruebas se construyen de forma que la media de la evaluación esté en 500 puntos. Esto hace que los resultados numéricos de un sistema educativo no solo dependan del rendimiento que obtengan sus alumnos, sino también de los resultados obtenidos por los otros países. En PISA 2012 participaron 65 países o economías, mientras que en PISA 2015 el número de participantes ha aumentado hasta 72. Entre los nuevos participantes encontramos: Algeria, República Dominicana, Georgia, Kosovo, Líbano, la antigua Macedonia, Malta, Moldavia, República Popular China o Trinidad y Tobago. También ha habido abandonos, como el de Chipre o Serbia. Curiosamente, la lista de participantes de PISA 2015 no incluye a España.

Este último punto tiene su importancia, ya que muchos medios de comunicación españoles se han centrado en la situación del país con respecto a la media y la media depende de los resultados de todos los participantes, que no son los mismos en cada edición de PISA. En este sentido, resulta mucho más estable la media de los países de la OCDE, aunque no sé hasta que punto se puede ver afectada por los cambios en los países participantes.

Los resultados de los países de lengua española en la prueba han sido:

  • Chile: 459
  • Colombia: 425
  • Costa Rica: 427
  • España: 496
  • México: 423
  • Perú: 398
  • República Dominicana: 358
  • Uruguay: 437

España es el único que se sitúa en la media de la OCDE, mientras que los países americanos están por debajo de ella. Los resultados españoles no se diferencian estadísticamente de los de Suecia, Dinamarca, Francia, Bélgica, Portugal, Reino Unido, Taipei, Estados Unidos, Rusia,  Regiones Chinas o Suiza.  De los países que en PISA 2009 obtenían resultados similares a los de España, sólo Eslovenia ha conseguido resultados mejores en PISA. En cambio, Latvia, República Checa, Croacia, Italia, Israel, Grecia y Eslovaquia están obteniendo peores resultados que España en la última edición de la prueba. Comparando los resultados de 2009 y 2015 se observa que en España aumenta el número de lectores en los niveles más altos de competencia, mientras que disminuye el número de los que están en los niveles más bajos.

Además, hay distintas comunidades o regiones que han participado en PISA 2015 con muestras diferenciadas que les permiten obtener resultados propios. En los países hispanohablantes han participado varias regiones españolas, colombianas y, además, la Ciudad Autónoma de Buenos Aires, un caso peculiar porque Argentina no ha participado en PISA 2015.

  • Aragón: 506
  • Asturias: 498
  • Cali: 432
  • Cantabria: 501
  • Castilla la Mancha: 499
  • Castilla y León: 522
  • Cataluña: 500
  • Ciudad Autónoma de Buenos Aires: 475
  • Comunidad Valenciana: 499
  • Extremadura: 475
  • Galicia: 509
  • Islas Baleares: 485
  • Islas Canarias: 483
  • La Rioja: 491
  • Madrid: 520
  • Manizales: 449
  • Medellín: 451
  • Murcia: 486
  • Navarra: 514
  • País Vasco: 491

El primer volumen de los informes publicados por la OCDE considera que Perú, España, Colombia, Uruguay y Chile han mejorado sus resultados en lectura respecto a PISA 2009 o PISA 2012, mientras que los resultados de Costa Rica han empeorado.

pisa-trends

Sin embargo, a pesar de que muchos medios de comunicación se han apresurado a señalar una mejora en los resultados españoles, Los análisis sobre la evolución de los resultados desde 2000 hasta 2015 sitúan a España en el grupo de países que no muestran ninguna tendencia clara. Los 493 puntos obtenidos por España no son mucho más que los 492,55 que obtuvo en PISA 2000.

2 comentarios

Archivado bajo Evaluaciones internacionales

Dos ofertas de formación

Centro Kutxazabal, sede de la jornada “Comprensión Lectora y Escritura”. Foto de Ketari

Noviembre nos trae dos interesantes ofertas de formación relacionadas con la comprensión lectora. Una es la jornada Comprensión Lectora y Escritura, que se celebrará el día 22 en San Sebastián – Donosti, organizada por la asociación Dislebi. En ella estaremos Eduardo Herrera y yo mismo.

Todos los detalles (lugar, mapa, inscripción) se pueden encontrar en este enlace al blog de Dislebi.

La otra oferta es el curso online Las Preguntas de PISA y TIMMS: una Práctica para el Aula, organizado por el MECD. No creo que esté centrado en comprensión lectora ya que TIMMS es una evaluación de competencia matemática, y PISA evalúa, además de la comprensión lectora, la competencia matemática y científica. Pero es una buena ocasión para conocer los items liberados de estas pruebas y sus características.

2 comentarios

Archivado bajo Encuentros, Formación, Herramientas para evaluación / investigación, Uncategorized

Lectura en PISA 2012. Países hispanoamericanos

Es increíble la cantidad de desatinos que he leído y oído estos días acerca de los resultados de PISA 2012, muchos de ellos producidos por no tener en cuenta que el estudio se llama así porque los alumnos fueron evaluados en 2012, aunque los resultados se publiquen casi dos años más tarde.

Curiosamente, la información original del estudio y sus resultados está disponible para todo el mundo en la web de la OCDE, en varios idiomas y con algunas aplicaciones para ver los datos de forma gráfica y comprensible.

El resultado de España

Fuente: PISA 2012

Fuente: PISA 2012

España obtiene una puntuación de 488 puntos, situándose significativamente por debajo de la media de la OCDE. El cambio medio a lo largo del tiempo, desde su primera participación en PISA 2000 es -0,3 puntos, es decir, los resultados prácticamente no se han modificado en 12 años.

Eso es lo que dice la presentación general de los resultados de PISA 2012, así que me resulta muy gracioso el ¿desliz? del periódico ABC cuando dice que

En Lectura, España consigue 488 puntos, ocho menos que la OCDE (496). Es la máxima nota obtenida por la media de los alumnos españoles: en 2003 y 2009 lograron 481 puntos, pero llegaron a bajar hasta los 461 puntos en 2006.

Siento contradecirles, pero la máxima “nota” obtenida por los alumnos españoles en la prueba de lectura de PISA fueron los 492,55 puntos de la evaluación de PISA 2000. Por eso el cambio medio es negativo, ¿no?

Resultados en otros países hispanoamericanos

Chile ha obtenido una puntuación de 441, con una mejora de 3,1, México 424 puntos y una mejora de 1,1. Uruguay con 411 puntos ha tenido un retroceso medio de 1,8 puntos desde su primera participación. Costa Rica, con 441 puntos, también ha retrocedido un punto, Argentina, con 396, ha retrocedido 1,6, mienras que Colombia, con 403 puntos mejora 3 puntos, y Perú, con 384 ha mejorado 5,2. Curiosamente, a pesar de obtener el resultado más bajo de todos los participantes, está entre los países que más ha mejorado entre sucesivas ediciones.

Comparación con otros países

Está claro que en esta edición de la prueba las puntuaciones más altas las han obtenido países y regiones asiáticas, concretamente Shangai, Hong-Kong, Singapur, Japón y Korea han obtenido las puntuaciones más altas, y Taipei, Macao y Vietnam se han situado por encima de la media. Los países no asiáticos con mayor puntuación han sido Finlandia , Irlanda, Canadá, Polonia y Estonia.

Todos los países con idioma español se han situado por debajo de la media (496 puntos), y Argentina y Perú han obtenido, como se ha visto menos de 400 puntos.

El resultado obtenido por España no difiere significativamente del de la República Checa, Italia, Austria, Letonia, Hungría, Luxemburgo, Portugal, Israe, Croacia o Suecia. Los resultados de Chile y Costa Rica son comparables a los de Serbia, Emiratos Árabes, Tailandia, Rumanía y Bulgaria, el de México al de Montenegro, Urugay se encuentra en el mismo grupo que Túnez y Colombia, que se puede comparar también con Brasil, Jordania, Malasia, Indonesia y Argentina.

Argentina obtiene un resultado similar al de Túnez, Colombia, Jordania, Malasia, Indonesia y Kazajistán, y, entre los resultados más bajos, Perú se puede comparar con Albania, Kazajistán y Catar.

Durante más de 10 años los españoles hemos tenido una especie de obsesión con Finlandia, que sistemáticamente había obtenido las mejores puntuaciones en PISA. Es posible que ahora empecemos a fijarnos en chinos, japoneses y koreanos, pero puede haber otras referencias interesantes y más cercanas, concretamente Polonia, Alemania, Suiza y Liechtenstein, que en 2000 tenían un nivel similar al nuestro pero ahora obtienen mejores resultados. Es curioso que España no obtiene en la actualidad resultados mejores que ninguno de los países que tenían un rendimiento parecido en 2000.

Deja un comentario

Archivado bajo Evaluaciones internacionales

¿PISA para adultos? Comprensión lectora en el PIAAC

Eso que los medios de comunicación y el ministerio de educación han llamado “PISA para adultos” no es una versión pornográfica de las pruebas PISA, sino un estudio de la OCDE llamado PIAAC por sus siglas en inglés  (Program for the International Assessment of Adult Competencies). Las competencias que ha medido han sido la lectora, la matemática, y la de resolución de problemas en un entorno tecnológico, del que apenas hemos sabido nada ya que en españa no se evaluó.

Como es costumbre en este blog, para quien quiera acudir a la fuente original, aquí está el enlace a First Results from the Survey of Adult Skills, o la versión en español (volumen 1, volumen 2). Aunque parezca poco atractivo enfrentarse a un documento técnico de 466 páginas, gran parte de ellas son gráficos y tablas, y al principio de la obra se puede encontrar un breve resumen ejecutivo de sólo 2 páginas. No se trata para nada de una clasificación o ranking de países en determinadas habilidades o conocimientos, sino que más bien es un análisis del mercado laboral, las competencias que se emplean en él, y los requisitos para mejorar la productividad. Aunque los medios de comunicación se han centrado en lo de “España a la cola en lectura y matemáticas”, también se proporcionan datos sobre la baja cantidad de hogares con ordenador y acceso a internet, de personas que utilizan internet para comunicarse con el gobierno, las autoridades o con negocios, los pocos cambios introducidos en las empresas, y sobre todo que, de los países analizados, España es el que tiene la tasa más alta de personas de 25 a 34 años sin educación secundaria.

También se puede encontrar un resumen en español, de 15 páginas y centrado en los resultados obtenidos por España. Para valientes, en este enlace hay una documentación exhaustiva, incluyendo el acceso a las bases de datos de la evaluación.

A quién se evaluó

Se evaluó a personas de entre 16 y 65 años que residían en el país valorado (no tenían por qué tener esa nacionalidad o conocer la lengua oficial) en el momento del estudio , y que no estuviesen institucionalizados. Concretamente, en España se valoró a 6.055 personas.

Resultados

La prueba de competencia lectora tenía 5 niveles de dificultad, pero no son los mismos en los que se clasificó a los participantes ya que en las gráficas se suelen unir los niveles más altos (4 y 5) y se refleja también a los que no llegaron a obtener el nivel 1, el más bajo.

El porcentaje de adultos españoles que alcanzaban los niveles 3, 4 y 5 era ligeramente superior al 30%. Casi el 40% estaba en el nivel 2, aproximadamente el 20% en el nivel 1, y casi el 10% por debajo del nivel 1, siendo el país evaluado en el que hubo más participantes que no alcanzaban ese nivel. Se debe tener en cuenta que en Chipre no se pudo evaluar a casi el 18% de la muestra por problemas de idioma o de capacidad, pero aunque se les añadiese en los niveles más bajos, seguiría habiendo una proporción de adultos chipriotas en los niveles 3, 4 y 5 mayor que la de españoles.

Puntuaciones generales por países

La puntuación general española fue 252 puntos, la media de los países evaluados fue 273 puntos, y la puntuación máxima, obtenida en Japón, 296 puntos. No se encontraron diferencias significativas entre España y Dinamarca, Alemania, Estados Unidos, Austria, Chipre, Polonia, Irlanda, Francia o Italia, pero sí con otros países.

La puntuación general española es mayor cuando se considera solo a los adultos jóvenes, de 16 a 24 años (264) puntos. En ese caso la media es de 280 puntos, y Japón obtuvo 299 puntos, la máxima puntuación.

Una curiosa aplicación

Si todo ha funcionado correctamente, esta entrada incluye una aplicación de la OCDE con la que se pueden explorar los resultados y realizar comparaciones entre países.

Si la técnica no ha funcionado, es posible encontrar la aplicación en este enlace.

Algunas cuestiones interesantes

  • Mientras que España tienen una notable proporción de jóvenes de 25 a 34 años con estudios universitarios, ese grupo no destaca especialmente en competencia lectora. La comprensión de los jóvenes japoneses o alemanes que no han seguido estudiando después del bachillerato es similar a la de los jóvenes españoles con formación universitaria.
  • A pesar de que se ha hablado mucho de las diferencias entre países, las mayores diferencias eran las que se obtenían dentro de cada país.
  • Cualquier tiempo pasado no fue mejor: el grupo de edad español que obtuvo mejores puntuaciones fue el de 16-24 años, seguido por el de 25-34 y el de 35-44. Los siguientes grupos de edad obtenían puntuaciones claramente más bajas que éstos.
  • Las profesiones en las que más se utiliza la competencia lectora son las relacionadas con finanzas y seguros, seguidas por las relacionadas con la información y la comunicación. En las que menos se emplea la competencia lectora es en las del ámbito de la construcción.
  • Curiosamente, a pesar de los bajos resultados, España es uno de los países con mayor porcentaje (17%) de trabajadores con una competencia lectora superior a la necesaria para el puesto de trabajo…

La verdad es que todo esto es sólo una mínima parte de la información que se puede encontrar en la fuente original en la que también se realizan interesantes análisis sobre los factores (edad, formación inicial, formación permanente, uso de la lectura en el trabajo) que pueden influir sobre la competencia lectora de los adultos, o se analiza el porcentaje de trabajadores sobrecualificados e infracualificados.

Deja un comentario

Archivado bajo Bases de datos, Evaluaciones internacionales

¿Afecta el número de alumnos por profesor a la competencia lectora?

Se ha aprobado la posibilidad de aumentar hasta un 20% el número máximo de alumnos por aula en Educación Primaria y Secundaria Obligatoria. El Real Decreto-ley 14/2012 no oculta que forma parte de un conjunto de medidas encaminado a conseguir la estabilidad presupuestaria, y se sugiere que tiene un carácter transitorio “en tanto subsistan en la normativa básica en materia de oferta de empleo público las medidas limitativas de incorporación de personal de nuevo ingreso”. Profesores y sindicatos se han opuesto a esta medida argumentando que producirá un deterioro en la calidad de la enseñanza. Así que puede ser interesante analizar qué sabemos sobre los efectos del número de alumnos por aula y el número de alumnos por profesor.

En primer lugar, quiero señalar que la idea de que el ministro José Ignacio Wert defiende el aumento del número de alumnos por aula porque permite una mejor socialización de los alumnos, me parece una forma bastante sesgada de contar lo que realmente dijo (aquí se puede encontrar una grabación). Es evidente que se está refiriendo a aulas con un número muy pequeño de alumnos.

En segundo lugar, recomiendo la lectura de Esos análisis que carga el diablo y de Ah, la ratio, que analizan los posibles efectos del aumento basándose en datos del sistema educativo español (como casi siempre la mayor parte de la investigación sobre el tema se ha hecho en Estados Unidos).

En tercer lugar conviene tener en cuenta que una cosa es el número de alumnos por aula, y otra el número de alumnos por profesor. Un aula con 20 alumnos tendrá asignado un tutor, pero en un colegio de Primaria con 18 aulas no tiene por qué haber solo 18 tutores. Puede haber orientador (en algunas comunidades autónomas), profesorado de apoyo y especialistas en idiomas, música, educación física,… Normalmente la suma de la jornada laboral de todos estos profesores es más que la jornada laboral de 18 profesores. Lo habitual es que el número de profesores con que cuenta un centro escolar se calcule según el número de aulas. Hacerlo según el número de alumnos produciría serios problemas de organización. Si un aula con 20 alumnos tiene un tutor y una hora de música, un aula con 10 alumnos tendría medio tutor y media hora de música.

Datos recogidos

En esta gráfica se puede ver la evolución del número de alumnos por profesor en España. Me imagino que a algunos les bastará para alcanzar sus propias conclusiones según las mejoras que hayan percibido entre 1991 y 2008 fechas  entre las que se ha reducido casi en 7 el número de alumnos por profesor.

Evolución del número de alumnos por profesor

Extraído de Indicadores Educativos del Ministerio de Educación

En las evaluaciones de la competencia lectora de PISA realizadas desde el año 2000 los resultados de España han sido: PISA 2000: 493 puntos, PISA 2003: 481 puntos, PISA 2006: 461 puntos, PISA 2009: 481 puntos. Desde luego las puntuaciones no han mejorado.

Cuando algún compañero me presenta como propuesta magnífica de mejora de la educación la reducción del número de alumnos, le suelo decir que lo que se ha estudiado sobre el tema indica que hacen falta reducciones bastante grandes para que se noten los efectos. En muchas ocasiones el debate suele terminar diciendo que los estudios no pueden tener en cuenta muchas de las variables importantes. En el caso del rendimiento entre los años 2000 y 2009 se podrían añadir datos como el aumento del nivel educativo de los padres de los alumnos, o la evolución de la inversión en educación, pero lo cierto es que PISA es una prueba que siempre mantiene la misma media (500 puntos), de modo que la conclusión de que un país se mantiene igual porque obtiene puntuaciones parecidas en sucesivas ediciones de la prueba implica suponer que no ha habido mejoras (o empeoramientos) generales del conjunto de países que realizan la evaluación.

A continuación se ofrece una gráfica extraída del Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en Tercero y Cuarto Grado. Se trata de un estudio realizado en alumnos de 3º y 4º curso de Primaria de países de América del Sur y El Caribe.  El texto nos dice que los resultados obtenidos están “en concordancia con la tendencia general mostrada por otras investigaciones, que señalan que en materia de rendimiento un mayor número de alumnos por sala de clases tiene un efecto negativo de proporciones sumamente pequeñas”. El Informe Técnico del estudio nos dice “el efecto es relativamente débil, ya que a una reducción de 10 estudiantes se asocia un aumento de rendimiento de aproximadamente 5 puntos en cada una de las pruebas” (las escalas se construyeron con una media de 250 puntos y una desviación estándar de 50). Por tener una referencia, el clima de aula se relaciona con diferencias de 92 puntos, el que los padres lean a veces, con diferencias de 3 puntos, y de casi 6 puntos si lo hacen a menudo.

Extraído de Casassus et al. (2000). Primer estudio internacional comparativo. Segundo informe. Santiago de Chile: Unesco   

Quizá el estudio más citado sobre los efectos del tamaño de la clase en el rendimiento es Meta-Analysis of Research on Class Size and Achievement, un metanálisis de Glass y Smith, publicado en 1979 que no he podido conseguir. Pero buscándolo he encontrado un par de revisiones narrativas que nos informas de varios proyectos de investigación sobre el efecto del tamaño de la clase. Desconozco quién es el autor de la que se titula How Smaller Class Size Affects Student Achievement: A Literature Review of the STAR project and other studies. La otra revisión es de Bruce Biddle y David Berliner (2002), y se titula What Research Says about Small Classes and their Effects.

En estas revisiones se tratan algunos programas de estudio de los efectos de la reducción del número de alumnos por clase en la enseñanza inicial (infantil y primeros cursos de primaria):

  • Indiana’s project Prime Time, que trató de reducir el tamaño de las clases a 18 alumnos por profesor.
  • Student-Teacher Achievement Ratio (STAR) project, de Tennessee. Comparó clases con de 13 a 17 alumnos con clases de 22 a 25 alumnos y clases con de 22 a 25 alumnos y profesor ayudante.
  • Student Achievement Guarantee in Education (SAGE) project, de Wisconsin. Comparaba distintas configuraciones de clase: clase con 15 alumnos, dos clases de 15 alumnos con espacio compartido, clase de 30 alumnos con dos profesores, clase con de 16 a 20 alumnos en la que había un segundo profesor para ciertas áreas.
  • California Class Size Reduction Program (CSRP), de California (obviamente). Comparaba clases con más y con menos de 20 estudiantes.

Se han hecho numerosas publicaciones sobre estos estudios que, en general, muestran efectos positivos de los grupos reducidos en diversas áreas como rendimiento escolar (incluyendo resultados en pruebas de lectura), problemas de comportamiento, o rendimiento futuro. Otro efecto interesante es que las ventajas observadas son mayores en los alumnos provenientes de familias de bajo estatus socio-económico, contribuyendo a homogeneizar el rendimento de la clase. También hay autores que se han mostrado críticos, especialmente con cuestiones de método como la forma de asignar a los profesores, la alta tasa de abandono que hubo durante los estudios, o la forma de seleccionar las escuelas que ofertaban los programas.

También he encontrado revisiones con una perspectiva menos favorable a la reducción de alumnos, como la de Matthew Chingos y Grover Whitehurst (2011), titulada Class Size: What Research Says and What it Means for State Policy. Esta revisión cita algunos estudios con resultados dudosos y dos estudios con resultados nulos.

Sin conclusión

De momento la cosa queda de la siguiente manera: hay bastante investigación sobre los efectos del tamaño de la clase sobre el rendimiento de los alumnos. Solo el metanálisis de Glass y Smith, publicado en 1979 ya había identificado 80 estudios. Estos estudios varían en la calidad de su método. Generalmente se reconoce que el estudio de mayor calidad que se ha realizado hasta el momento es el proyecto STAR, de Tennessee, uno de los estudios que encuentra mayores efectos positivos de la reducción del tamaño de la clase.

Cuando se revisan los estudios realizados se puede llegar a conclusiones diversas dependiendo, especialmente, del criterio que se siga para elegir los estudios. Tanto quienes son favorables a reducir el tamaño de las clases como quienes están en contra de ello se ponen de acuerdo en algunos puntos. El primero es que los efectos de la reducción del número de alumno por clase se notan especialmente cuando se forman clases de 20 alumnos o menos. El segundo es que los alumnos provenientes de grupos desfavorecidos se benefician más de las ventajas de la reducción, y el tercero es que la investigación disponible se refiere a alumnos de Educación Infantil o de los primeros cursos de Educación Primaria, y que sería aventurado suponer que se puedan extrapolar a cursos superiores.

Deja un comentario

Archivado bajo Evaluaciones internacionales, Evaluaciones nacionales, Métodos de mejora

¡Vamos a leerles un cuento!

¡Vamos a leerles un cuento! El factor parental en educación es el título de una monografía publicada por Series: PISA que plantea que para los padres nunca es demasiado pronto ni demasiado tarde para implicarse en la educación de los hijos.

Portada del libro

La idea ya estaba sugerida en el informe breve Qué pueden hacer los padres para ayudar a sus hijos a tener éxito en la escuela, que comenté en el blog. Los datos están obtenidos de la evaluación PISA 2009, en la que se empleó en 13 países (España no estaba entre ellos, pero sí Panamá) un cuestionario para los padres de los alumnos que eran evaluados.

Cuando los niños son pequeños

El análisis de los datos mostraba que a los 15 años, obtenían mejores resultados en competencia lectora los alumnos a los que sus padres les leían cuentos a la edad en que se entraba en Primaria, algo que curiosamente no sucedía en Lituania. Una aportación de PISA a esa idea es que muestra como esa ventaja se mantiene entre familias con niveles socio-económicos parecidos.

La lectura de historias en casa o las canciones infantiles se relacionan con un mayor interés y disfrute de la lectura cuando los hijos tienen 15 años. Este efecto no se producía con actividades como el uso de juguetes relacionados con el alfabeto.

Un dato que no se comenta pero que ha llamado mi atención es que en los países en los que la mayor parte de los padres se implican en la lectura historias a sus hijos, como Nueva Zelanda (96% de padres implicados), Dinamarca (92%), la diferencia que supone esta actividad en el rendimiento a los 15 años es bastante mayor que en los lugares donde hay menor implicación, como Macao (54% de padres implicados) o Hong-Kong (51%). ¿Puede ser que la implicación sea mayor si existe una percepción de va a resultar útil?

Otra cuestión interesante es que la cantidad de tiempo que se dedique a leer con los hijos es menos importante que el hecho de leer con ellos, es decir, hay más diferencias entre los niños a los que se les lee y los niños a los que no se les lee que entre los niños a los que se les lee mucho y los niños a los que se les lee poco. Hay bastantes familias en las que el tiempo que se tiene que dedicar al trabajo dificulta la implicación en la educación de los hijos. En esos casos puede ser esperanzador saber que un pequeño esfuerzo puede suponer una diferencia notable.

Cuando se van haciendo mayores

Por regla general, los alumnos de 15 años con padres que muestran un interés activo en sus vidas y en sus pensamientos son más competentes en lectura. Hablar con los adolescentes, tratar con ellos temas sociales o políticos está más relacionado con buenos resultados en lectura que acompañarlos a la biblioteca o a la librería. Hablar con los hijos sobre libros, películas o programas de televisión también se relaciona con mejores resultados en lectura en la mayoría de los países que participaron en el estudio.

Otra actitud de los padres que se relaciona con buenos resultados en competencia lectora de los hijos es el interés por la lectura. Tanto los estudiantes con nivel sociocultural alto como los estudiantes con nivel sociocultural bajo parecen obtener mejores resultados cuando a sus padres les gusta leer, y los resultados son más bajos cuando se considera que la lectura es una pérdida de tiempo.

Algunos resultados paradójicos

Hay un dato que ilustra muy bien con qué cautela deben interpretarse este tipo de estudios. Se trata del efecto que tiene la colaboración de los padres con el colegio en el rendimiento de los niños. ¿Piensa usted que los hijos de padres que se entrevistan con los profesores para hablar del rendimiento y el comportamiento de los alumnos obtienen mejores resultados en comprensión lectora? Pues resulta más bien al contrario. El mejor rendimiento lo obtienen los hijos de padres que durante el último curso no se han entrevistado con los profesores de sus hijos. ¿No es esto lo contrario de lo que se quiere transmitir aquí (nunca es demasiado tarde ni demasiado pronto para implicarse en la educación de los hijos)?

Si el dato le ha sorprendido, piense por un momento ¿cuándo hay más motivos para que se convoque una entrevista entre la familia y el profesorado? ¿Cuando el alumno va bien en el colegio o cuando va mal? Lo que probablemente quiere decir esto es que muchos profesores esperan a que un alumno tenga problemas antes de convocar a la familia, y muchos padres no sienten interés por entrevistarse con los profesores hasta que constatan que algo va mal.

Algo parecido sucede con la tarea escolar. Los alumnos que reciben ayuda de sus padres para realizar las tareas obtienen resultados más bajos en comprensión lectora que los que no la reciben. ¿Significa esto que hay que dejar de ayudarles? Probablemente no es lo más adecuado, y lo que sucede es, sencillamente, que los alumnos que obtienen buenos resultados no necesitan esa ayuda.

Programas eficaces

En cada capítulo se describen varios programas relacionados con el tema tratado que producen una implicación efectiva de los padres en la educación de sus hijos (no se explica cómo se ha valorado esa efectividad, algo que hubiera sido interesante). Es una información útil para quien busque ideas sobre qué se puede hacer para mejorar el rendimento en lectura de niños y jóvenes. Normalmente se trata de programas nacionales como “Toda Polonia lee a los niños”, “Programa parental para la educación temprana (Rumanía)”, “Profesores preceptores (Japón)”, o “Bookstart (Reino Unido)”.

Otros dependen de otras organizaciónes, como “Leéme, papá (Suecia)”, que implica a los sindicatos, “826 Valencia (Estados Unidos)” o “Niños del Harlem (Estados Unidos)”, que dependen de ONGs, o “La familia como educador (Israel)”, que surgió a partir de un proyecto de investigación.

Deja un comentario

Archivado bajo Evaluaciones internacionales, Intervención a través de la familia

Relación entre la actuación de los padres y la comprensión lectora según PISA

El número 10 de los boletines PISA In Focus se titula ¿Qué pueden hacer los padres para ayudar a sus hijos a tener éxito en la escuela? y ofrece algunas recomendaciones basadas en los datos obtenidos en la evaluación PISA 2009.

Portada del libro "The Reading Promise"

PISA In Focus es una publicación mensual que ofrece orientaciones políticas basadas en los datos de las evaluaciones PISA. El mensaje fundamental del décimo boletín es que hay actuaciones que se relacionan con buenos resultados en las pruebas de comprensión lectora que no requieren conocimientos especializados ni un tiempo excesivo, y que solo se pueden realizar en la familia.

Leer a los niños cuando son pequeños 

En 14 países se recogieron datos sobre si, cuando los alumnos estaban en el primer curso de primaria, los padres les leían libros. Cuando los padres les leían todos o casi todos los días o una o dos veces a la semana los resultados en la prueba de competencia lectora realizada a los 15 años eran, como media, 25 puntos mayores que cuando los padres no les leían nunca o casi nunca. Si se comparaba a alumnado de familias con el mismo nivel socioeconómico, la diferencia se reducía a 15 puntos, pero aún seguía siendo significativa.

Entre los 14 países donde se tomaron los datos había dos con lengua española, que eran Panamá (22 puntos de diferencia, 12 (no significativo) descontando el efecto del nivel socioeconómico), y Chile (18 puntos de diferencia, 13 descontando el efecto del nivel socioeconómico).

Interesarse por los adolescentes, hablar con ellos

Algunas actividades familiares se asocian con mejores resultados en competencia lectora. Son actividades como hablar con los hijos sobre cuestiones sociales o políticas (28 puntos de diferencia, 16 descontando el efecto del nivel socioeconómico), o como hablar con ellos sobre libros, películas o programas de televisión, comentar cómo les va en el colegio, comer juntos, o simplemente charlar con ellos de cualquier cosa. Tal vez, lo que tienen en común todas estas actividades es que en ellas los padres dedican tiempo a conversar con sus hijos adolescentes.

Es especialmente interesante la última frase del boletín, que da la siguiente recomendación:

Los profesores, las escuelas y los sistemas educativos deberían indagar cómo pueden ayudar a los padres muy ocupados a desempeñar un papel más activo en la educación de sus hijos, tanto en el colegio como fuera de él.

10 comentarios

Archivado bajo Evaluaciones internacionales, Intervención a través de la familia, Métodos de mejora

Conviértase en investigador con la base de datos de PISA

Algo poco conocido de PISA es que los datos en bruto de cada una de las evaluaciones se ponen a disposición pública, junto con otros materiales como cuestionarios o libros de códigos. Se puede acceder a todos estos ficheros en la sección de descargas de PISA.

Pero no es imprescindible descargar un enorme conjunto de datos para analizarlos en un programa de estadística, ya que en la misma página se ofrece una aplicación que relaciona los resultados en las pruebas de competencias con información recogida en los cuestionarios de alumnos, padres y colegios.

Con esta aplicación voy a obtener datos sobre la relación entre ofertar clubs de lectura como actividad extraescolar y la comprensión lectora. Para eso selecciono en la lista de países “ESP-Spain”, y en la lista de variables escolares “SC13Q05-Book club”. Pulso el botón “create tables” y obtengo el siguiente resultado:

Variable: SC13Q05 “Book Club”
Full question: “Extra-Curricular Activities Offered by School – Book club”.
Category: 1 Yes
2 No
Reading Mathematics Science
Country Variable Category % (%SE) Mean (SE) Mean (SE) Mean (SE)
Spain SC13Q05 1 34.23 (2.92) 477 (3.83) 481 (3.38) 485 (3.71)
Spain SC13Q05 2 61.03 (2.71) 482 (2.72) 484 (2.96) 490 (2.68)
Spain SC13Q05 m 4.73 (1.28) 495 (10.23) 495 (10.05) 496 (9.31)
OECD Total SC13Q05 1 42.33 (1.16) 492 (2.30) 487 (2.37) 494 (2.39)
OECD Total SC13Q05 2 55.05 (1.26) 492 (1.83) 489 (1.73) 499 (1.90)
OECD Total SC13Q05 m 2.62 (0.47) 492 (6.38) 486 (6.28) 500 (6.43)
OECD Average SC13Q05 1 31.03 (0.50) 497 (1.53) 499 (1.64) 504 (1.53)
OECD Average SC13Q05 2 66.62 (0.51) 492 (0.92) 494 (1.01) 499 (1.11)
OECD Average SC13Q05 m 2.79 (0.22) 491 (3.78) 487 (3.60) 493 (3.90)

La letra “m” hace referencia a los datos perdidos (missing), porque no se contestó a la pregunta, o se hizo de forma incorrecta. Los resultados de España se presentan en las filas con el título “Spain”, y los de la OCDE se presentan de dos formas: “OECD Total”, que es el resultado medio de todos los alumnos de la OCDE y “OECD Average”, que es el resultado medio de una selección de alumnos proporcional al número de habitantes de cada país.

Una vez que sabemos leer la tabla, podemos comprobar que en España, los colegios con clubes de lectura tienen una media de 477 puntos en la prueba de competencia lectora, mientras que los que no ofertan esa actividad tienen una media de 482 puntos. ¿Es mucha o poca diferencia? La aplicación no nos dice si la diferencia es significativa, pero con los datos que ofrece es posible aproximarse al tamaño del efecto.

La d de Cohen es la diferencia entre la media de los dos grupos, dividida entre la desviación típica   pero en este caso no conocemos la desviación típica combinada, sino la de cada uno de los grupos. Para no complicarlo mucho, voy a tomar la desviación típica del grupo mayor (el 2, no hay club de lectura).  El resultado es -1,84: los colegios con club de lectura obtienen como media una puntuación de comprensión lectora 5 puntos menor que los colegios sin club de lectura, que es una diferencia superior a 1,5 desviaciones típicas.

No es necesario clausurar los clubs de lectura. El primer motivo es que cuando se observan los resultados totales de la OCDE la media de los colegios con club de lectura es exactamente igual que la de los que no la tienen. El segundo motivo es porque no estamos hablando de una relación causa efecto, sino de una correlación. Al describir los colegios españoles resulta que los que ofertan clubs de lectura tienen una puntuación menor en competencia lectora, pero de ahí no se deduce que el club de lectura sea la causa de la diferencia.  ¿Cuál es la causa? Con esta forma de trabajo no se puede saber.

Bueno; ahí queda este recurso que permite obtener información sobre la relación entre comprensión lectora y variables como la actitud de los alumnos ante la lectura y el estudio, su relación con las Tics, o el funcionamiento de los colegios. Lo mejor de todo, que no hay que esperar a que lo cuenten en los periódicos o en la inspección.

Para más adelante me queda una duda: ¿por qué Pisa utiliza una escala con media de 500 y desviación típica 100, y resulta que las desviaciones típicas que ofrece esta aplicación raramente superan el 10?

Comentarios desactivados en Conviértase en investigador con la base de datos de PISA

Archivado bajo Bases de datos, Evaluaciones internacionales

Dónde encontrar la información original de PISA 2009

Los medios de comunicación ya llevan algunos días informándonos sobre los resultados de PISA 2009, una evaluación que nos resulta interesante, porque al igual que PISA 2000 se ha centrado en la comprensión lectora.

Para quien quiera conocer de primera mano los resultados de esta evaluación lo mejor es leer el informe que publica la OECD. Las ventajas de este acceso directo son:
· La tranquilidad: no te sientes agobiado con interpretaciones alarmistas, triunfalistas, partidistas…
· La riqueza: los resultados están presentados en 6 volúmenes (uno aún sin publicar). Sólo el primero tiene 276 páginas, de modo que se puede encontrar una cantidad de información y análisis mucho más extensa y profunda que en dos páginas del periódico.

La gran desventaja se puede deducir del punto anterior: se necesita mucho tiempo para leer y analizar toda esa información (uno se pregunta cuánto han dedicado las personas que nos están informando sobre esta evaluación). En realidad no es tanto: se ha publicado un resumen del informe, los resultados se encuentran en el primer volumen, y una parte importante de cada tomo está dedicada a cuestiones técnicas de la evaluación, que la mayoría de los lectores podrían omitir. Los siguientes volúmenes están dedicados al análisis de cuestiones concretas:
· Contexto sociocultural e igualdad de oportunidades.
· La implicación de los alumnos y el uso de estrategias de aprendizaje.
· Factores que inciden en el éxito escolar.
· Cambios en el rendimiento escolar desde PISA 2000.
· Uso de las tecnologías de la información por los estudiantes.

También se facilita una aplicación para comparar los indicadores de distintos países y regiones. Un vistazo rápido a esta aplicación permite comprobar que sólo unos pocos países han solicitado análisis por regiones, y que los más minuciosos han sido Italia, España e Inglaterra.

Bueno, hay otro problema: la información está publicada en inglés, pero no importa. Tanto el resumen como el informe completo serán traducidos al español.

Portada del informe PISA 2009

Bueno, hasta aquí la presentación. Aún no he leído el informe así que poco más puedo decir. Más adelante espero comentar alguna cuestión sobre los resultados obtenidos, cómo se deben interpretar y cuál puede ser su aplicación.

Deja un comentario

Archivado bajo Evaluaciones internacionales