Tag Archives: PISA

PISA-D: la otra prueba PISA

21 Jul

En 2018 la prueba PISA se realizó en 79 países, pero hubo otros 7 países en los que se realizó una prueba alternativa: PISA para el desarrollo o PISA-D. Esta prueba se centra en los niveles de rendimiento más bajos y se destina a países con bajos ingresos.

En PISA-D 2018 participaron: Camboya, Ecuador, Guatemala, Honduras, Paraguay, Senegal y Zambia. Se evaluó a estudiantes de 15 años, con pruebas en papel de lectura, matemáticas y ciencias naturales, basadas en la evaluación PISA 2015, de la que recogían más de la mitad de los ítems. El resto de las preguntas fueron ítems de pruebas PISA adaptados u obtenidos de otras evaluaciones de la OCDE. También se recogieron datos en tres cuestionarios dirigidos a los propios alumnos participantes, profesores y directores.

De los 6 niveles de rendimiento que tiene PISA, más de dos tercios de las preguntas se dirigieron a los niveles 1 y 2. El nivel 2 se considera el nivel mínimo de competencia que habría que alcanzar al final de la escolarización. PISA 2018 dividía el nivel 1 en dos partes: 1a y 1b. PISA-D 2018 considera otra parte más: 1c, con tareas de comprensión de palabras y frases cortas.

Inicialmente, la prueba iba a valorar a chicos y chicas de 15 años, escolarizados y no escolarizados. Sin embargo, por lo que veo en el informe, finalmente se decidió que solo se evaluaría a los que estuvieran inscritos en el grado 7 (correspondiente a nuestro 1º de ESO) o cursos superiores. Solo el 43% de la población de 15 años de los países participantes cumplía con ese requisito. De los que participaron, el 38% estaba escolarizado en un curso inferior al que le correspondía por edad.

Las puntuaciones obtenidas en la prueba de competencia lectora en los países hispanohablantes fueron:

  • Ecuador: 409. El 49,4% de los participantes alcanza el nivel 2 de competencia lectora.
  • Honduras: 371. El 29,7% de los participantes alcanza el nivel 2 de competencia lectora.
  • Paraguay: 370. El 32,2% de los participantes alcanza el nivel 2 de competencia lectora.
  • Guatemala: 369. El 29,9% de los participantes alcanza el nivel 2 de competencia lectora.

El nivel promedio de estos cuatro países fue el 1a. Según el informe de resultados, eso significa que

Más de la mitad de los estudiantes podrían, en el mejor de los casos, recuperar partes de información que se
expresan explícitamente, identificar el tema principal o la intención del autor en un texto sobre un tema familiar, o hacer una conexión simple al reflexionar sobre la relación entre información en el texto y conocimiento común, cotidiano.

Los resultados fueron mayores que los de los restantes países (Camboya: 321, Senegal: 306, Zambia: 275) e inferiores al promedio de la OCDE (493). Otro dato curioso es que en los cuatro países hispanohablantes, los resultados de la prueba de competencia lectora fueron más altos que los de las pruebas de matemáticas y ciencias.

Décimo aniversario 1. Modelos de comprensión

2 Dic

Esta es la primera de las entradas temáticas para celebrar el décimo aniversario del blog. Y trata sobre los modelos de comprensión. En ningún momento he pretendido hacer una exposición exhaustiva de los distintos modelos que existen, pero, por otra parte, es un tema que ha aparecido varias veces en el blog, ya que me resulta bastante cercano. Al fin y al cabo, realicé mi tesis doctoral sobre un modelo de comprensión lectora: la concepción simple de la lectura.

Modelos de procesamiento de la información

Los primeros intentos de explicar la comprensión lectora dieron lugar a los modelos de abajo arriba (bottom-up) y de arriba abajo (top-down). En los primeros, una serie de procesos transformaban la información contenida en el texto en una representación mental de su significado, mientras que en los segundos el texto activaba una serie de conocimientos como vocabulario o esquemas, que le daban sentido. Ninguna de las dos familias de modelos resultaba satisfactoria y no tardó en llegar una síntesis de ambas. Una nueva generación de modelos propuso que en la comprensión había una interacción entre la información del texto y los conocimientos del lector. Estos modelos solían ser muy formales. A veces se estudiaban en simulaciones informáticas y solían ser modelos de lector experto, sin ninguna intención de explicar cómo se desarrolla la comprensión.

Representación del modelo de Kintsch, por Geral Eduardo Matéus

Entre ellos tenemos el modelo de construcción-integración de Kintsch, el modelo de construcción de estructuras de Gernsbacher,

En mi tesis hice una revisión de algunos de estos modelos y no he vuelto a intentar tratarlos de forma exhaustiva. Las entradas en las que hablo de ellos son:

La concepción simple de la lectura

La simple view of reading, también llamada modelo simple de lectura, propone que la comprensión lectora se puede predecir teniendo en cuenta dos factores que en las primeras formulaciones del modelo eran: descodificación y comprensión oral. No solo eso, sino que la relación sería multiplicativa, dando lugar a una fórmula: CL = D x CO.

Se han propuesto variaciones de este modelo, como sustituir la comprensión oral por el vocabulario o por medidas del desarrollo del lenguaje, proponer una relación aditiva: CL = D + CO, o tratar de introducir otros componentes, como la flexibilidad cognitiva.

Este ha sido el modelo sobre el que más he escrito y, a pesar de haber sido muy productivo para la investigación y la práctica educativa, aún parece ser un gran desconocido entre el profesorado. Las entradas en las que hablo de este modelo son:

Modelo ALICIA del aprendizaje inicial de la lectura

Modelo DIME

El modelo DIME (directo y de la mediación inferencial) propone que la comprensión lectora es el resultado de las relaciones entre los conocimientos del lector sobre el tema del texto, sus estrategias de comprensión, la habilidad para construir inferencias, la habilidad para leer correctamente las palabras y el vocabulario.

Se han realizado algunos estudios para su validación y yo mismo estoy dirigiendo dos tesis doctorales sobre su funcionamiento en español.

El modelo y la investigación que lo sustenta se exponen en:

Marco de competencia lectora de PISA

Este modelo tienen un origen peculiar, ya que su intención no es explicar el funcionamiento de la comprensión lectora, sino servir de guía para su evaluación. Al igual que la concepción simple de la lectura, el marco de competencia lectora de PISA influye en la toma de decisiones sobre cómo organizar y realizar la enseñanza de la lectura.

Por otra parte, es un modelo muy ambicioso, que considera cuestiones como la búsqueda y selección de información, la lectura de textos múltiples, o la valoración de la fiabilidad del texto, que no aparecen en otros modelos.

En el blog he escrito más sobre los resultados de las evaluaciones que sobre su marco teórico, pero dediqué un libro a este modelo y a cómo trabajar la lectura a partir de él.

Modelo DRIVE

Este ha sido, por ahora, mi último post sobre un modelo de comprensión. El modelo DRIVE (desplegar la lectura en entornos variados) es un modelo complejo, con muchos componentes, pero con la intención de presentarlos de una manera fácil de comprender. Para ello utiliza una analogía en la que la lectura es como conducir un coche y emplea infografías en las que se pueden ver las equivalencias entre la lectura y la conducción.

Imagen enlazada de The Reading Teacher.

He tratado este modelo en:

Modelos didácticos

No se me ocurre bien como llamarlos y espero que así se entienda. Se trata de modelos que tienen la intención de organizar el trabajo de enseñanza de la lectura, de modo que ponen de relieve los aspectos que hay que tener en cuenta en ese trabajo. Algunos no han sido contrastados empíricamente, aunque sí que seleccionan componentes que han mostrado estar relacionados con la comprensión lectora y ser mejorables mediante la intervención.

Creo que no todos los modelos que he propuesto están recogidos en el blog: el superlector, las cuatro patas, el modelo del gato, la telaraña…

Para contestar a preguntas sobre un texto hay que entender el texto, pero también las preguntas

22 Abr

Leer un texto y contestar a preguntas sobre él es la actividad de trabajo de la comprensión más utilizada en las escuelas. Se espera que los alumnos contesten bien a las preguntas si han comprendido el texto. Pero, a veces, no prestamos suficiente atención a algo que es bastante lógico: también es necesario que comprendan las preguntas.

Raquel Cerdán. Foto enlazada de su ficha personal en la Universidad de Valencia.

Raquel Cerdán, Eduardo Vidal-Abarca, Jean François Rouet y un A. Pérez que no he conseguido identificar han publicado un artículo en el que investigan cómo una paráfrasis con información clave de la pregunta que se va a responder ayuda a alumnos de 2º de ESO a dar una mejor respuesta.

En el estudio participaron 198 alumnos, que leyeron dos textos, adaptados de los elementos liberados de las pruebas PISA. Se trataba de los textos Gripe y Zapatillas. En cada uno de ellos se seleccionaron cinco preguntas. Para ayudar a la comprensión de las preguntas se crearon paráfrasis que destacaban dos aspectos: los procesos cognitivos que se necesitaban para contestar a la pregunta (buscar, relacionar, interpretar) y la información clave que se necesitaba del texto. Veamos dos ejemplos que aparecen en el artículo:

Pregunta: Miguel trabaja en la compañía ACOL y en la semana del 17 de mayo estará de viaje de negocios. Justifica si Miguel debería contactar con Raquel. Paráfrasis: Explica si Miguel debería ponerse en contacto con Raquel para conseguir la vacuna y por qué.

Pregunta: Una molestia que sufren habitualmente los corredores es la formación de ampollas. De acuerdo con el texto, identifica una recomendación específica para evitar este problema. Paráfrasis: Localiza una recomendación para prevenir la formación de ampollas en los corredores.

Los participantes realizaron una evaluación de su comprensión lectora con el Test de estrategias de comprensión (TEC). En una segunda sesión trabajaron los textos Gripe y Zapatillas. El orden de presentación de los textos y el uso de ayudas de paráfrasis para comprender las preguntas fueron contrabalanceados.

Los resultados fueron:

  1. Se encontró una relación entre comprensión (resultados del TEC) y cantidad de preguntas respondidas correctamente.
  2. El efecto general de las paráfrasis para ayudar a la comprensión de las preguntas no fue significativo.
  3. Sí que fue significativa la interacción entre paráfrasis y nivel de comprensión lectora: el alumnado con menor comprensión lectora respondía significativamente peor a las preguntas tanto si tenía la ayuda como si no, pero esa dificultad se redujo significativamente en los casos en que contaba con la ayuda.

A partir de estos resultados podemos pensar que los alumnos con mejor comprensión no necesitan ayudas para entender las preguntas de los textos, porque su buena comprensión les lleva a hacerlo bien. En cambio, los alumnos con nivel más bajo de comprensión sí que se benefician de estas ayudas y hay ocasiones en las que son capaces de responder o hacer lo que les demanda la pregunta, pero solo si la han comprendido. El recurso empleado en este estudio ha sido parafrasear qué hay que hacer en la pregunta y qué información necesitas para hacerlo.

PISA 2018 en España. Si no es para nota me la chufla.

27 Nov

El pasado 15 de noviembre la OCDE publicó una nota de prensa en la que se indicaba que aplazan la publicación de los resultados de lectura de PISA 2018.

El motivo de este aplazamiento es que un número considerable de alumnos españoles contestó de una forma anómala a la prueba de fluidez lectora. Esta prueba se empleaba por primera vez en la edición de 2018. El Marco de evaluación de la competencia lectora de PISA 2018 define la fluidez lectora como la facilidad y eficiencia con la que los estudiantes pueden leer textos simples para la comprensión. Según este marco, los resultados de fluidez se reportan en el informe final, pero no forman parte de la escala PISA.

Parece que la forma de evaluar la fluidez es mediante una tarea de lectura silenciosa en la que los estudiantes deben leer 20 oraciones y juzgar si son verdaderas o falsas. Según la nota de prensa, un gran número de alumnos españoles:

  • Realizó esta tarea en menos de 25 segundos, cuando lo habitual es que hacerla bien requiera entre 50 segundos y dos minutos.
  • Dio respuestas con una pauta como todas verdaderas o todas falsas.

Parece lo que tradicionalmente se conoce como responder al azar y a toda prisa. Al parecer, esto no se produjo en otros países y sí que se observó en algunas escuelas de ciertas regiones españolas. El diario El País contactó con una analista de la OCDE que indicó que el problema se percibe, al menos en un 5% de los alumnos.

Algunas dudas que surgen ante esta noticia son:

  • ¿Hay comunidades autónomas que han participado con muestras propias, como se ha hecho en ediciones anteriores de la prueba? ¿No es posible publicar los datos de competencia lectora de alguna de ellas, en la que no se haya observado esta situación?
  • ¿Es posible que las respuestas rápidas y al azar se hayan dado en otras partes de la prueba de competencia lectora en la que resultan más fáciles de detectar? La nota de prensa sugiere que ha habido un impacto considerable en las pruebas de lectura, pero no en las de matemáticas o ciencia.
  • ¿Es posible que en ediciones anteriores se hayan producido problemas de este tipo y que no se hayan detectado hasta la realización de la prueba de fluidez lectora, que al estar informatizada permite controlar el tiempo de realización?
  • ¿Quizá algunos participantes no se toman en serio la prueba al no tener repercusión en sus calificaciones, como sugiere el título de esta entrada?

Y bueno, finalmente, unos momentos para la publicidad: si alguien quiere aprovechar el marco de lectura de PISA (que es un modelo de comprensión bastante extenso e interesante) para mejorar la habilidad lectora de sus alumnos, puede encontrar ideas y recursos en algunos de mis trabajos y colaboraciones, especialmente en Intralíneas, una plataforma online para el trabajo de la comprensión lectora, con textos muy bien escogidos y preguntas que trabajan buena parte de los procesos de lectura que considera PISA. Y también en Manual práctico para el desarrollo de la comprensión lectora. Una propuesta para la Educación Secundaria a partir del marco PISA. Creo que el título ya ilustra bien de qué va el libro.

Y, para los que se ponen muy nerviosos cuando oyen o leen “PISA”, no dije que estas herramientas fueran para preparar la prueba de competencia lectora de PISA: tratar de mejorar un indicador de esa manera me parece bastante tonto. En cambio, tratar de mejorarlo mejorando la habilidad lectora de los alumnos sí que puede ser interesante. Aunque, por ahora, quizá aumentarían los resultados si algunos se tomasen la prueba con un poco de seriedad.

 

 

Manual práctico para el desarrollo de la comprensión lectora en Educación Secundaria

25 Sep

Como se publicó hacia final de curso y andaba ocupado con muchas cosas, se me olvidó hacer una presentación en condiciones de mi nuevo libro en el blog, así que, con unos meses de retraso, lo presento: se titula Manual práctico para el desarrollo de la comprensión lectora. Una propuesta para la Educación Secundaria a partir del marco PISA. Está publicado por Giunti-EOS, en la colección Fundamentos psicopedagógicos, tiene 204 páginas y cuesta aproximadamente 14,5 euros.

La idea principal es la siguiente: en su marco para evaluar la competencia lectora, PISA propone un modelo de lectura que está muy bien y tiene mucho potencial para orientar el trabajo de desarrollo de la comprensión lectora en los adolescentes. La mayor parte del libro se dedica a ir exponiendo ideas sobre cómo desarrollar cada uno de los procesos que componen el modelo.

Algunas de sus características son:

  • Explico cómo es la estrategia o cómo se haría la actividad. En algunos casos, incluso pongo algún ejemplo, pero no doy un material “fotocopiable” para llevar al aula. Cada uno se tendrá que preparar el suyo o ajustar lo que tenga según estas ideas.
  • Yo no he comprobado si lo que propongo es eficaz o no, pero siempre que me ha sido posible me he recogido métodos, estrategias o actividades que sí que han sido estudiadas de forma empírica.
  • Los textos que se emplean en los ejemplos son variados, tanto literarios como textos informativos, de ciencias naturales, ciencias sociales o de manuales prácticos.

Copio el texto que aparece en la contraportada

La evaluación PISA está rodeada de varias paradojas. La más llamativa es que, a pesar de su popularidad, de su presencia periódica en los medios de comunicación y de la cantidad de veces que se cita, es muy poco conocida. De los miles de páginas de análisis que ha generado PISA, la mayor parte de la gente solo tiene noticia de unas tablas con resultados, que interpretan casi como si fueran la clasificación de una liga de fútbol de la educación internacional. Otra paradoja es que PISA es una evaluación. No propone objetivos, contenidos o métodos pedagógicos, pero allí donde se implanta tiene repercusión y se van realizando modificaciones en el sistema educativo para ajustarse a las demandas de la prueba. Parece escandaloso que modifiquemos nuestra forma de trabajar la lectura y la comprensión para que el alumnado rinda mejor en PISA, pero igual eso no es tan malo si resulta que la prueba de competencia lectora de PISA está bien enfocada y es exigente. El caso es que PISA propone un modelo de competencia lectora muy completo y actualizado. Conseguir que el alumnado se vuelva hábil en los procesos de lectura que evalúa PISA requiere un trabajo largo y cuidadoso. En este libro, Juan C. Ripoll nos propone pasar del entrenamiento para la prueba (practicar con los ítems liberados de PISA) a conocer cuáles son los procesos que se evalúan y qué tipo de estrategias y actividades se pueden emplear para desarrollarlos. Dicho de otra forma, su propuesta pasa del enfoque de hacer algo para mejorar los resultados en PISA a utilizar el modelo de competencia lectora que propone PISA para mejorar las habilidades de comprensión del alumnado de enseñanza secundaria.

Iniciativas para preparar la prueba de competencia lectora de PISA

21 Mar

Durante este mes he impartido un pequeño curso a profesorado de enseñanza secundaria sobre la prueba de lectura de PISA y, tratando de desarrollar un poco más mis materiales, he sentido curiosidad por saber si en otros lugares se está realizando algún tipo de preparación para esta prueba y de qué forma se está haciendo. Antes de que nadie se escandalice, creo que no tiene ningún sentido entrenar a los alumnos para que obtengan unos puntos más en esta evaluación, pero, por otra parte, el marco de lectura de PISA es bastante extenso y completo y una formación que permita a los alumnos adquirir las habilidades que se evalúan en él puede ser algo interesante, más aún en una etapa como la educación secundaria, en la que suele haber bastante desorientación respecto al trabajo para la mejora de la lectura y la comprensión.

Mi búsqueda no ha sido sistemática, sino que me he limitado a mirar qué informaciones sobre PISA ofrecen las webs de los ministerios de educación de los países hispanoamericanos y las consejerías o delegaciones de educación de las distintas comunidades españolas, completándolo con algunas búsquedas en Google. Veamos lo que he encontrado:

Colombia

Ha realizado una campaña bajo el lema La selección Colombia PISA fuerte. En la web de esta campaña se ofrece acceso a la Plataforma PruebaT, que se detalla en las iniciativas de México.

Costa Rica

Sus análisis sobre los resultados obtenidos indicaron que el realizar la prueba por ordenador les penalizó, ya que los alumnos no estaban acostumbrados a realizar pruebas académicas con esa herramienta. Se propuso, por tanto, realizar una experiencia de aplicación de exámenes por ordenador a alumnado de distintos centros escolares del país.

España

El instituto Nacional de Evaluación Educativa (INEE) facilita algunos documentos informativos. Además, el Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado ofreció un curso online sobre las preguntas liberadas de PISA y mantiene un espacio en su web con una recopilación de preguntas liberadas. Tras echar un vistazo por las consejerías o departamentos de educación de las distintas comunidades, solo he encontrado algunos documentos informativos o enlaces a las preguntas liberadas. La única iniciativa para la preparación de la prueba que he visto es la de Murcia, donde a los centros seleccionados para realizar la evaluación se les ha presentado un proyecto de formación en habilidades no cognitivas. Este proyecto proviene de la universidad de Murcia y resulta curiosa esta aplicación, ya que, según la información que se encuentra en su web, hasta ahora se ha destinado a alumnado de Educación Infantil y Primaria.

Fuera del circuito de las administraciones públicas, encontramos algunas publicaciones que proponen estrategias o acciones para la mejora del rendimiento en PISA:

México

Aparentemente, es el país hispanoamericano donde se está realizando un mayor esfuerzo para mejorar el resultado en la prueba. Existe un acuerdo entre la Secretaría de Educación y la universidad nacional autónoma de México para mejorar las habilidades didácticas del profesorado.

México también ha desarrollado un conjunto de propuestas recogidas bajo la denominación de Aplícate: fortalecimiento de los aprendizajes y las competencias en los alumnos de 15 y 16 años. Entre estas propuestas se encuentran conseguir que los docentes se familiaricen con las pruebas PISA, realizar actividades de refuerzo en el aula y ofrecer mediante internet materiales divulgativos y de apoyo. Entre los recursos que podemos encontrar para la lectura están:

Panamá

La web de su ministerio de educación no ha estado operativa durante los días en que he realizado las búsquedas.

Perú

Ha editado algunos materiales informativos para centros escolares y para las familias de los alumnos.

República Dominicana

Ofrece acceso a la plataforma PruebaT (en las iniciativas de México).

La lectura en PISA 2015. España y países hispanoamericanos.

14 Dic

Los medios de comunicación ya han dado cuenta de los resultados de PISA 2015. La evaluación se centró en la competencia del alumnado en ciencias, pero, como en todas las ediciones anteriores, también se evaluaron la competencia matemática y lectora.

Antes de ponerme a exponer y comentar resultados, recuerdo algunas cuestiones importantes de esta evaluación:

  • PISA evalúa a alumnado de 15 años, con independiencia del curso en que se encuentren.
  • Su objetivo es valorar los resultados de los sistemas educativos, no de los alumnos en particular. Cada alumno contesta una selección de items de evaluación y no todos los alumnos realizan los mismos items.
  • PISA recoge otras informaciones en cuestionarios que realizan los alumnos y los centros escolares. En algunos países también se han empleado cuestionarios para padres. Con esa información, se establecen relaciones entre el rendimiento de los alumnos y distintos factores sociales o escolares. La OCDE publica una gran cantidad de material con esos análisis. Sobre PISA 2015 ya se han publicado dos volúmenes y hay otros tres en preparación.
  • Las pruebas se construyen de forma que la media de la evaluación esté en 500 puntos. Esto hace que los resultados numéricos de un sistema educativo no solo dependan del rendimiento que obtengan sus alumnos, sino también de los resultados obtenidos por los otros países. En PISA 2012 participaron 65 países o economías, mientras que en PISA 2015 el número de participantes ha aumentado hasta 72. Entre los nuevos participantes encontramos: Algeria, República Dominicana, Georgia, Kosovo, Líbano, la antigua Macedonia, Malta, Moldavia, República Popular China o Trinidad y Tobago. También ha habido abandonos, como el de Chipre o Serbia. Curiosamente, la lista de participantes de PISA 2015 no incluye a España.

Este último punto tiene su importancia, ya que muchos medios de comunicación españoles se han centrado en la situación del país con respecto a la media y la media depende de los resultados de todos los participantes, que no son los mismos en cada edición de PISA. En este sentido, resulta mucho más estable la media de los países de la OCDE, aunque no sé hasta que punto se puede ver afectada por los cambios en los países participantes.

Los resultados de los países de lengua española en la prueba han sido:

  • Chile: 459
  • Colombia: 425
  • Costa Rica: 427
  • España: 496
  • México: 423
  • Perú: 398
  • República Dominicana: 358
  • Uruguay: 437

España es el único que se sitúa en la media de la OCDE, mientras que los países americanos están por debajo de ella. Los resultados españoles no se diferencian estadísticamente de los de Suecia, Dinamarca, Francia, Bélgica, Portugal, Reino Unido, Taipei, Estados Unidos, Rusia,  Regiones Chinas o Suiza.  De los países que en PISA 2009 obtenían resultados similares a los de España, sólo Eslovenia ha conseguido resultados mejores en PISA. En cambio, Latvia, República Checa, Croacia, Italia, Israel, Grecia y Eslovaquia están obteniendo peores resultados que España en la última edición de la prueba. Comparando los resultados de 2009 y 2015 se observa que en España aumenta el número de lectores en los niveles más altos de competencia, mientras que disminuye el número de los que están en los niveles más bajos.

Además, hay distintas comunidades o regiones que han participado en PISA 2015 con muestras diferenciadas que les permiten obtener resultados propios. En los países hispanohablantes han participado varias regiones españolas, colombianas y, además, la Ciudad Autónoma de Buenos Aires, un caso peculiar porque Argentina no ha participado en PISA 2015.

  • Aragón: 506
  • Asturias: 498
  • Cali: 432
  • Cantabria: 501
  • Castilla la Mancha: 499
  • Castilla y León: 522
  • Cataluña: 500
  • Ciudad Autónoma de Buenos Aires: 475
  • Comunidad Valenciana: 499
  • Extremadura: 475
  • Galicia: 509
  • Islas Baleares: 485
  • Islas Canarias: 483
  • La Rioja: 491
  • Madrid: 520
  • Manizales: 449
  • Medellín: 451
  • Murcia: 486
  • Navarra: 514
  • País Vasco: 491

El primer volumen de los informes publicados por la OCDE considera que Perú, España, Colombia, Uruguay y Chile han mejorado sus resultados en lectura respecto a PISA 2009 o PISA 2012, mientras que los resultados de Costa Rica han empeorado.

pisa-trends

Sin embargo, a pesar de que muchos medios de comunicación se han apresurado a señalar una mejora en los resultados españoles, Los análisis sobre la evolución de los resultados desde 2000 hasta 2015 sitúan a España en el grupo de países que no muestran ninguna tendencia clara. Los 493 puntos obtenidos por España no son mucho más que los 492,55 que obtuvo en PISA 2000.

Dos ofertas de formación

29 Oct

Centro Kutxazabal, sede de la jornada “Comprensión Lectora y Escritura”. Foto de Ketari

Noviembre nos trae dos interesantes ofertas de formación relacionadas con la comprensión lectora. Una es la jornada Comprensión Lectora y Escritura, que se celebrará el día 22 en San Sebastián – Donosti, organizada por la asociación Dislebi. En ella estaremos Eduardo Herrera y yo mismo.

Todos los detalles (lugar, mapa, inscripción) se pueden encontrar en este enlace al blog de Dislebi.

La otra oferta es el curso online Las Preguntas de PISA y TIMMS: una Práctica para el Aula, organizado por el MECD. No creo que esté centrado en comprensión lectora ya que TIMMS es una evaluación de competencia matemática, y PISA evalúa, además de la comprensión lectora, la competencia matemática y científica. Pero es una buena ocasión para conocer los items liberados de estas pruebas y sus características.

Lectura en PISA 2012. Países hispanoamericanos

11 Dic

Es increíble la cantidad de desatinos que he leído y oído estos días acerca de los resultados de PISA 2012, muchos de ellos producidos por no tener en cuenta que el estudio se llama así porque los alumnos fueron evaluados en 2012, aunque los resultados se publiquen casi dos años más tarde.

Curiosamente, la información original del estudio y sus resultados está disponible para todo el mundo en la web de la OCDE, en varios idiomas y con algunas aplicaciones para ver los datos de forma gráfica y comprensible.

El resultado de España

Fuente: PISA 2012

Fuente: PISA 2012

España obtiene una puntuación de 488 puntos, situándose significativamente por debajo de la media de la OCDE. El cambio medio a lo largo del tiempo, desde su primera participación en PISA 2000 es -0,3 puntos, es decir, los resultados prácticamente no se han modificado en 12 años.

Eso es lo que dice la presentación general de los resultados de PISA 2012, así que me resulta muy gracioso el ¿desliz? del periódico ABC cuando dice que

En Lectura, España consigue 488 puntos, ocho menos que la OCDE (496). Es la máxima nota obtenida por la media de los alumnos españoles: en 2003 y 2009 lograron 481 puntos, pero llegaron a bajar hasta los 461 puntos en 2006.

Siento contradecirles, pero la máxima “nota” obtenida por los alumnos españoles en la prueba de lectura de PISA fueron los 492,55 puntos de la evaluación de PISA 2000. Por eso el cambio medio es negativo, ¿no?

Resultados en otros países hispanoamericanos

Chile ha obtenido una puntuación de 441, con una mejora de 3,1, México 424 puntos y una mejora de 1,1. Uruguay con 411 puntos ha tenido un retroceso medio de 1,8 puntos desde su primera participación. Costa Rica, con 441 puntos, también ha retrocedido un punto, Argentina, con 396, ha retrocedido 1,6, mienras que Colombia, con 403 puntos mejora 3 puntos, y Perú, con 384 ha mejorado 5,2. Curiosamente, a pesar de obtener el resultado más bajo de todos los participantes, está entre los países que más ha mejorado entre sucesivas ediciones.

Comparación con otros países

Está claro que en esta edición de la prueba las puntuaciones más altas las han obtenido países y regiones asiáticas, concretamente Shangai, Hong-Kong, Singapur, Japón y Korea han obtenido las puntuaciones más altas, y Taipei, Macao y Vietnam se han situado por encima de la media. Los países no asiáticos con mayor puntuación han sido Finlandia , Irlanda, Canadá, Polonia y Estonia.

Todos los países con idioma español se han situado por debajo de la media (496 puntos), y Argentina y Perú han obtenido, como se ha visto menos de 400 puntos.

El resultado obtenido por España no difiere significativamente del de la República Checa, Italia, Austria, Letonia, Hungría, Luxemburgo, Portugal, Israe, Croacia o Suecia. Los resultados de Chile y Costa Rica son comparables a los de Serbia, Emiratos Árabes, Tailandia, Rumanía y Bulgaria, el de México al de Montenegro, Urugay se encuentra en el mismo grupo que Túnez y Colombia, que se puede comparar también con Brasil, Jordania, Malasia, Indonesia y Argentina.

Argentina obtiene un resultado similar al de Túnez, Colombia, Jordania, Malasia, Indonesia y Kazajistán, y, entre los resultados más bajos, Perú se puede comparar con Albania, Kazajistán y Catar.

Durante más de 10 años los españoles hemos tenido una especie de obsesión con Finlandia, que sistemáticamente había obtenido las mejores puntuaciones en PISA. Es posible que ahora empecemos a fijarnos en chinos, japoneses y koreanos, pero puede haber otras referencias interesantes y más cercanas, concretamente Polonia, Alemania, Suiza y Liechtenstein, que en 2000 tenían un nivel similar al nuestro pero ahora obtienen mejores resultados. Es curioso que España no obtiene en la actualidad resultados mejores que ninguno de los países que tenían un rendimiento parecido en 2000.

¿PISA para adultos? Comprensión lectora en el PIAAC

16 Oct

Eso que los medios de comunicación y el ministerio de educación han llamado “PISA para adultos” no es una versión pornográfica de las pruebas PISA, sino un estudio de la OCDE llamado PIAAC por sus siglas en inglés  (Program for the International Assessment of Adult Competencies). Las competencias que ha medido han sido la lectora, la matemática, y la de resolución de problemas en un entorno tecnológico, del que apenas hemos sabido nada ya que en españa no se evaluó.

Como es costumbre en este blog, para quien quiera acudir a la fuente original, aquí está el enlace a First Results from the Survey of Adult Skills, o la versión en español (volumen 1, volumen 2). Aunque parezca poco atractivo enfrentarse a un documento técnico de 466 páginas, gran parte de ellas son gráficos y tablas, y al principio de la obra se puede encontrar un breve resumen ejecutivo de sólo 2 páginas. No se trata para nada de una clasificación o ranking de países en determinadas habilidades o conocimientos, sino que más bien es un análisis del mercado laboral, las competencias que se emplean en él, y los requisitos para mejorar la productividad. Aunque los medios de comunicación se han centrado en lo de “España a la cola en lectura y matemáticas”, también se proporcionan datos sobre la baja cantidad de hogares con ordenador y acceso a internet, de personas que utilizan internet para comunicarse con el gobierno, las autoridades o con negocios, los pocos cambios introducidos en las empresas, y sobre todo que, de los países analizados, España es el que tiene la tasa más alta de personas de 25 a 34 años sin educación secundaria.

También se puede encontrar un resumen en español, de 15 páginas y centrado en los resultados obtenidos por España. Para valientes, en este enlace hay una documentación exhaustiva, incluyendo el acceso a las bases de datos de la evaluación.

A quién se evaluó

Se evaluó a personas de entre 16 y 65 años que residían en el país valorado (no tenían por qué tener esa nacionalidad o conocer la lengua oficial) en el momento del estudio , y que no estuviesen institucionalizados. Concretamente, en España se valoró a 6.055 personas.

Resultados

La prueba de competencia lectora tenía 5 niveles de dificultad, pero no son los mismos en los que se clasificó a los participantes ya que en las gráficas se suelen unir los niveles más altos (4 y 5) y se refleja también a los que no llegaron a obtener el nivel 1, el más bajo.

El porcentaje de adultos españoles que alcanzaban los niveles 3, 4 y 5 era ligeramente superior al 30%. Casi el 40% estaba en el nivel 2, aproximadamente el 20% en el nivel 1, y casi el 10% por debajo del nivel 1, siendo el país evaluado en el que hubo más participantes que no alcanzaban ese nivel. Se debe tener en cuenta que en Chipre no se pudo evaluar a casi el 18% de la muestra por problemas de idioma o de capacidad, pero aunque se les añadiese en los niveles más bajos, seguiría habiendo una proporción de adultos chipriotas en los niveles 3, 4 y 5 mayor que la de españoles.

Puntuaciones generales por países

La puntuación general española fue 252 puntos, la media de los países evaluados fue 273 puntos, y la puntuación máxima, obtenida en Japón, 296 puntos. No se encontraron diferencias significativas entre España y Dinamarca, Alemania, Estados Unidos, Austria, Chipre, Polonia, Irlanda, Francia o Italia, pero sí con otros países.

La puntuación general española es mayor cuando se considera solo a los adultos jóvenes, de 16 a 24 años (264) puntos. En ese caso la media es de 280 puntos, y Japón obtuvo 299 puntos, la máxima puntuación.

Una curiosa aplicación

Si todo ha funcionado correctamente, esta entrada incluye una aplicación de la OCDE con la que se pueden explorar los resultados y realizar comparaciones entre países.

Si la técnica no ha funcionado, es posible encontrar la aplicación en este enlace.

Algunas cuestiones interesantes

  • Mientras que España tienen una notable proporción de jóvenes de 25 a 34 años con estudios universitarios, ese grupo no destaca especialmente en competencia lectora. La comprensión de los jóvenes japoneses o alemanes que no han seguido estudiando después del bachillerato es similar a la de los jóvenes españoles con formación universitaria.
  • A pesar de que se ha hablado mucho de las diferencias entre países, las mayores diferencias eran las que se obtenían dentro de cada país.
  • Cualquier tiempo pasado no fue mejor: el grupo de edad español que obtuvo mejores puntuaciones fue el de 16-24 años, seguido por el de 25-34 y el de 35-44. Los siguientes grupos de edad obtenían puntuaciones claramente más bajas que éstos.
  • Las profesiones en las que más se utiliza la competencia lectora son las relacionadas con finanzas y seguros, seguidas por las relacionadas con la información y la comunicación. En las que menos se emplea la competencia lectora es en las del ámbito de la construcción.
  • Curiosamente, a pesar de los bajos resultados, España es uno de los países con mayor porcentaje (17%) de trabajadores con una competencia lectora superior a la necesaria para el puesto de trabajo…

La verdad es que todo esto es sólo una mínima parte de la información que se puede encontrar en la fuente original en la que también se realizan interesantes análisis sobre los factores (edad, formación inicial, formación permanente, uso de la lectura en el trabajo) que pueden influir sobre la competencia lectora de los adultos, o se analiza el porcentaje de trabajadores sobrecualificados e infracualificados.