Tag Archives: OCDE

PISA 2018 en España. Si no es para nota me la chufla.

27 Nov

El pasado 15 de noviembre la OCDE publicó una nota de prensa en la que se indicaba que aplazan la publicación de los resultados de lectura de PISA 2018.

El motivo de este aplazamiento es que un número considerable de alumnos españoles contestó de una forma anómala a la prueba de fluidez lectora. Esta prueba se empleaba por primera vez en la edición de 2018. El Marco de evaluación de la competencia lectora de PISA 2018 define la fluidez lectora como la facilidad y eficiencia con la que los estudiantes pueden leer textos simples para la comprensión. Según este marco, los resultados de fluidez se reportan en el informe final, pero no forman parte de la escala PISA.

Parece que la forma de evaluar la fluidez es mediante una tarea de lectura silenciosa en la que los estudiantes deben leer 20 oraciones y juzgar si son verdaderas o falsas. Según la nota de prensa, un gran número de alumnos españoles:

  • Realizó esta tarea en menos de 25 segundos, cuando lo habitual es que hacerla bien requiera entre 50 segundos y dos minutos.
  • Dio respuestas con una pauta como todas verdaderas o todas falsas.

Parece lo que tradicionalmente se conoce como responder al azar y a toda prisa. Al parecer, esto no se produjo en otros países y sí que se observó en algunas escuelas de ciertas regiones españolas. El diario El País contactó con una analista de la OCDE que indicó que el problema se percibe, al menos en un 5% de los alumnos.

Algunas dudas que surgen ante esta noticia son:

  • ¿Hay comunidades autónomas que han participado con muestras propias, como se ha hecho en ediciones anteriores de la prueba? ¿No es posible publicar los datos de competencia lectora de alguna de ellas, en la que no se haya observado esta situación?
  • ¿Es posible que las respuestas rápidas y al azar se hayan dado en otras partes de la prueba de competencia lectora en la que resultan más fáciles de detectar? La nota de prensa sugiere que ha habido un impacto considerable en las pruebas de lectura, pero no en las de matemáticas o ciencia.
  • ¿Es posible que en ediciones anteriores se hayan producido problemas de este tipo y que no se hayan detectado hasta la realización de la prueba de fluidez lectora, que al estar informatizada permite controlar el tiempo de realización?
  • ¿Quizá algunos participantes no se toman en serio la prueba al no tener repercusión en sus calificaciones, como sugiere el título de esta entrada?

Y bueno, finalmente, unos momentos para la publicidad: si alguien quiere aprovechar el marco de lectura de PISA (que es un modelo de comprensión bastante extenso e interesante) para mejorar la habilidad lectora de sus alumnos, puede encontrar ideas y recursos en algunos de mis trabajos y colaboraciones, especialmente en Intralíneas, una plataforma online para el trabajo de la comprensión lectora, con textos muy bien escogidos y preguntas que trabajan buena parte de los procesos de lectura que considera PISA. Y también en Manual práctico para el desarrollo de la comprensión lectora. Una propuesta para la Educación Secundaria a partir del marco PISA. Creo que el título ya ilustra bien de qué va el libro.

Y, para los que se ponen muy nerviosos cuando oyen o leen “PISA”, no dije que estas herramientas fueran para preparar la prueba de competencia lectora de PISA: tratar de mejorar un indicador de esa manera me parece bastante tonto. En cambio, tratar de mejorarlo mejorando la habilidad lectora de los alumnos sí que puede ser interesante. Aunque, por ahora, quizá aumentarían los resultados si algunos se tomasen la prueba con un poco de seriedad.

 

 

La lectura en PISA 2015. España y países hispanoamericanos.

14 Dic

Los medios de comunicación ya han dado cuenta de los resultados de PISA 2015. La evaluación se centró en la competencia del alumnado en ciencias, pero, como en todas las ediciones anteriores, también se evaluaron la competencia matemática y lectora.

Antes de ponerme a exponer y comentar resultados, recuerdo algunas cuestiones importantes de esta evaluación:

  • PISA evalúa a alumnado de 15 años, con independiencia del curso en que se encuentren.
  • Su objetivo es valorar los resultados de los sistemas educativos, no de los alumnos en particular. Cada alumno contesta una selección de items de evaluación y no todos los alumnos realizan los mismos items.
  • PISA recoge otras informaciones en cuestionarios que realizan los alumnos y los centros escolares. En algunos países también se han empleado cuestionarios para padres. Con esa información, se establecen relaciones entre el rendimiento de los alumnos y distintos factores sociales o escolares. La OCDE publica una gran cantidad de material con esos análisis. Sobre PISA 2015 ya se han publicado dos volúmenes y hay otros tres en preparación.
  • Las pruebas se construyen de forma que la media de la evaluación esté en 500 puntos. Esto hace que los resultados numéricos de un sistema educativo no solo dependan del rendimiento que obtengan sus alumnos, sino también de los resultados obtenidos por los otros países. En PISA 2012 participaron 65 países o economías, mientras que en PISA 2015 el número de participantes ha aumentado hasta 72. Entre los nuevos participantes encontramos: Algeria, República Dominicana, Georgia, Kosovo, Líbano, la antigua Macedonia, Malta, Moldavia, República Popular China o Trinidad y Tobago. También ha habido abandonos, como el de Chipre o Serbia. Curiosamente, la lista de participantes de PISA 2015 no incluye a España.

Este último punto tiene su importancia, ya que muchos medios de comunicación españoles se han centrado en la situación del país con respecto a la media y la media depende de los resultados de todos los participantes, que no son los mismos en cada edición de PISA. En este sentido, resulta mucho más estable la media de los países de la OCDE, aunque no sé hasta que punto se puede ver afectada por los cambios en los países participantes.

Los resultados de los países de lengua española en la prueba han sido:

  • Chile: 459
  • Colombia: 425
  • Costa Rica: 427
  • España: 496
  • México: 423
  • Perú: 398
  • República Dominicana: 358
  • Uruguay: 437

España es el único que se sitúa en la media de la OCDE, mientras que los países americanos están por debajo de ella. Los resultados españoles no se diferencian estadísticamente de los de Suecia, Dinamarca, Francia, Bélgica, Portugal, Reino Unido, Taipei, Estados Unidos, Rusia,  Regiones Chinas o Suiza.  De los países que en PISA 2009 obtenían resultados similares a los de España, sólo Eslovenia ha conseguido resultados mejores en PISA. En cambio, Latvia, República Checa, Croacia, Italia, Israel, Grecia y Eslovaquia están obteniendo peores resultados que España en la última edición de la prueba. Comparando los resultados de 2009 y 2015 se observa que en España aumenta el número de lectores en los niveles más altos de competencia, mientras que disminuye el número de los que están en los niveles más bajos.

Además, hay distintas comunidades o regiones que han participado en PISA 2015 con muestras diferenciadas que les permiten obtener resultados propios. En los países hispanohablantes han participado varias regiones españolas, colombianas y, además, la Ciudad Autónoma de Buenos Aires, un caso peculiar porque Argentina no ha participado en PISA 2015.

  • Aragón: 506
  • Asturias: 498
  • Cali: 432
  • Cantabria: 501
  • Castilla la Mancha: 499
  • Castilla y León: 522
  • Cataluña: 500
  • Ciudad Autónoma de Buenos Aires: 475
  • Comunidad Valenciana: 499
  • Extremadura: 475
  • Galicia: 509
  • Islas Baleares: 485
  • Islas Canarias: 483
  • La Rioja: 491
  • Madrid: 520
  • Manizales: 449
  • Medellín: 451
  • Murcia: 486
  • Navarra: 514
  • País Vasco: 491

El primer volumen de los informes publicados por la OCDE considera que Perú, España, Colombia, Uruguay y Chile han mejorado sus resultados en lectura respecto a PISA 2009 o PISA 2012, mientras que los resultados de Costa Rica han empeorado.

pisa-trends

Sin embargo, a pesar de que muchos medios de comunicación se han apresurado a señalar una mejora en los resultados españoles, Los análisis sobre la evolución de los resultados desde 2000 hasta 2015 sitúan a España en el grupo de países que no muestran ninguna tendencia clara. Los 493 puntos obtenidos por España no son mucho más que los 492,55 que obtuvo en PISA 2000.