La competencia lectora en Latinoamérica. Resultados de ERCE 2019

Cuando pensamos en evaluaciones internacionales de la mejora de la competencia lectora casi seguro que la primera que se nos ocurre es la evaluación PISA. Si nos esforzamos un poco o tenemos cierto conocimiento del tema, quizá recordemos la evaluación PIRLS. Normalmente, ahí se nos acaban las ideas, pero existen otras evaluaciones y entre ellas es importante el Estudio Regional Comparativo y Explicativo (ERCE) en el que ya por cuarta vez se han evaluado los niveles de aprendizaje de países de América Latina y El Caribe.

Las ediciones anteriores de esta evaluación se llamaron PERCE, SERCE y TERCE. La letra inicial de esas siglas se corresponde con «primer», «segundo» y «tercer». El que se acaba de publicar es el cuarto estudio, así se podría haber llamado CERCE, pero se ha quedado como ERCE 2019, quizá porque esta progresión hubiera producido un problema en la siguiente edición, el quinto estudio. El PERCE se realizó en 1997, tres años antes que la primera edición de PISA, así que para nada es una imitación de esa prueba.

Existe un larguísimo vídeo de presentación de los resultados de la edición de 2019

En esta web se pueden encontrar comunicados de prensa específicos para distintos países y un resumen de los resultados. El informe completo de resultados no se publicará hasta abril de 2022.

ERCE 2019 evalúo el rendimiento en lectura, escritura, matemáticas y ciencias de más de 160 000 alumnos de 3º y 6º de primaria de 16 países: Argentina, Brasil, Colombia, Cuba, Costa Rica, Ecuador, El Salvador, Guatemala, Honduras, México, Nicaragua, Panamá, Paraguay, Perú, República Dominicana y Uruguay.

El Laboratorio Latinoamericano de Evaluación de la Educación (LLECE), de la UNESCO, que realiza la prueba da un aire algo catastrófico a los resultados. Por ejemplo, tras destacar que las evaluaciones se realizaron antes de la pandemia de COVID-19 indica que:

Los datos de este estudio de la UNESCO indican que persisten los bajos niveles de logro en la región y que, en promedio, no hay avances significativos desde la última evaluación, en 2013. Solo se observan avances sustantivos en Perú, Brasil y República Dominicana.

En promedio en los 16 países de la región, el 40% de los estudiantes de 3º grado y el 60% de 6º grado de primaria no alcanzan el nivel mínimo de competencias fundamentales en Lectura y Matemática. Más aún, en la mayor parte de los países de la región no se evidenciaron mejoras significativas en los logros de aprendizajes de sus estudiantes de primaria entre 2013 y 2019, y algunos países tuvieron retrocesos.

El estudio da cuenta de que América Latina y el Caribe enfrenta una crisis en materia educativa y que avanzar en el logro de los aprendizajes fundamentales sigue siendo una tarea pendiente para poder hacer efectivo el derecho a una educación de calidad.

La escala de lectura tiene una media teórica de 700 puntos y su media real ha sido 697 puntos en tercer curso y 696 en sexto curso. Los resultados por países son los siguientes:

País	Resultado en 3º	Resultado en 6º
Argentina	689	698
Brasil	748	734
Colombia	716	719
Costa Rica	748	757
Cuba	730	738
Ecuador	699	684
El Salvador	697	699
Guatemala	656	645
Honduras	675	661
México	713	726
Nicaragua	646	654
Panamá	659	652
Paraguay	675	657
Perú	753	741
República Dominicana	624	644
Uruguay	723	734

Los tres países que obtienen resultados significativamente superiores a la media del tercer curso son Brasil, Costa Rica y Perú. En comparación con los resultados de la edición anterior de la prueba, se observa una mejora en Brasil, República Dominicana y Perú. Argentina, Guatemala, México, Nicaragua o Panamá obtienen peores resultados que en la edición anterior. El resto de los países participantes no muestra una diferencia significativa (no se considera a Cuba, que no participó en TERCE).

Iniciativas para preparar la prueba de competencia lectora de PISA

Durante este mes he impartido un pequeño curso a profesorado de enseñanza secundaria sobre la prueba de lectura de PISA y, tratando de desarrollar un poco más mis materiales, he sentido curiosidad por saber si en otros lugares se está realizando algún tipo de preparación para esta prueba y de qué forma se está haciendo. Antes de que nadie se escandalice, creo que no tiene ningún sentido entrenar a los alumnos para que obtengan unos puntos más en esta evaluación, pero, por otra parte, el marco de lectura de PISA es bastante extenso y completo y una formación que permita a los alumnos adquirir las habilidades que se evalúan en él puede ser algo interesante, más aún en una etapa como la educación secundaria, en la que suele haber bastante desorientación respecto al trabajo para la mejora de la lectura y la comprensión.

Mi búsqueda no ha sido sistemática, sino que me he limitado a mirar qué informaciones sobre PISA ofrecen las webs de los ministerios de educación de los países hispanoamericanos y las consejerías o delegaciones de educación de las distintas comunidades españolas, completándolo con algunas búsquedas en Google. Veamos lo que he encontrado:

Colombia

Ha realizado una campaña bajo el lema La selección Colombia PISA fuerte. En la web de esta campaña se ofrece acceso a la Plataforma PruebaT, que se detalla en las iniciativas de México.

Costa Rica

Sus análisis sobre los resultados obtenidos indicaron que el realizar la prueba por ordenador les penalizó, ya que los alumnos no estaban acostumbrados a realizar pruebas académicas con esa herramienta. Se propuso, por tanto, realizar una experiencia de aplicación de exámenes por ordenador a alumnado de distintos centros escolares del país.

España

El instituto Nacional de Evaluación Educativa (INEE) facilita algunos documentos informativos. Además, el Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado ofreció un curso online sobre las preguntas liberadas de PISA y mantiene un espacio en su web con una recopilación de preguntas liberadas. Tras echar un vistazo por las consejerías o departamentos de educación de las distintas comunidades, solo he encontrado algunos documentos informativos o enlaces a las preguntas liberadas. La única iniciativa para la preparación de la prueba que he visto es la de Murcia, donde a los centros seleccionados para realizar la evaluación se les ha presentado un proyecto de formación en habilidades no cognitivas. Este proyecto proviene de la universidad de Murcia y resulta curiosa esta aplicación, ya que, según la información que se encuentra en su web, hasta ahora se ha destinado a alumnado de Educación Infantil y Primaria.

Fuera del circuito de las administraciones públicas, encontramos algunas publicaciones que proponen estrategias o acciones para la mejora del rendimiento en PISA:

• El libro 10 ideas clave. La competencia lectora según PISA de Felipe Zayas.
• El artículo de Francisco Lorenzo titulado Competencia en comunicación lingüística: claves para el avance de la comprensión lectora en las pruebas PISA.
• El artículo de Francisco Luna ¿Qué mide PISA y cómo hay que darle respuesta?

México

Aparentemente, es el país hispanoamericano donde se está realizando un mayor esfuerzo para mejorar el resultado en la prueba. Existe un acuerdo entre la Secretaría de Educación y la universidad nacional autónoma de México para mejorar las habilidades didácticas del profesorado.

México también ha desarrollado un conjunto de propuestas recogidas bajo la denominación de Aplícate: fortalecimiento de los aprendizajes y las competencias en los alumnos de 15 y 16 años. Entre estas propuestas se encuentran conseguir que los docentes se familiaricen con las pruebas PISA, realizar actividades de refuerzo en el aula y ofrecer mediante internet materiales divulgativos y de apoyo. Entre los recursos que podemos encontrar para la lectura están:

• Comprensión lectora. Ficha didáctica para el alumno: información y actividades en torno a distintos tipos de textos.
• La Plataforma PruebaT: ha sido puesta en marcha por la fundación Carlos Slim y permite la realización de distintas pruebas de competencia. En ella se encuentra La fortaleza de los relatos, un juego en el que se deben acertar preguntas de los textos liberados de PISA para poder avanzar o un resumen de las características de la prueba de competencia lectora.
• PISA en el aula: manual que analiza las pruebas PISA de competencia lectora y ofrece orientaciones didácticas para trabajar los procesos de lectura en los distintos cursos de la secundaria.

Panamá

La web de su ministerio de educación no ha estado operativa durante los días en que he realizado las búsquedas.

Perú

Ha editado algunos materiales informativos para centros escolares y para las familias de los alumnos.

República Dominicana

Ofrece acceso a la plataforma PruebaT (en las iniciativas de México).

Resultados de PIRLS 2016

La IEA es la Asociación Internacional para la evaluación del rendimiento educativo, que comenzó a realizar evaluaciones internacionales en 1960. Las evaluaciones más conocidas que realiza actualmente son la prueba TIMMS de matemáticas y ciencia y la prueba PIRLS, de lectura, que es la que nos interesa.

El 5 de diciembre se publicaron los resultados de la cuarta edición de PIRLS (PIRLS 2016). PIRLS se realiza cada 5 años y evalúa la competencia lectora de alumnado de 4º curso de educación primaria. En esta edición se ha tratado de dos pruebas diferentes ya que también se ha realizado una evaluación de la lectura electrónica.

Como suele ser habitual en las evaluaciones internacionales, la escala de resultado está construida con una referencia central de 500 puntos. Algo que me ha despistado bastante es que en la web de resultados de PIRLS 2016 no he encontrado datos como los resultados por regiones o la media de los países europeos o la OCDE, que sí está manejando la prensa. Esos datos están obtenidos de la versión española del informe preliminar de PIRLS 2016.

Veamos los resultados de países de habla hispana:

• España: 528 puntos.
• Chile: 494 puntos.
• Buenos Aires (Argentina): 480 puntos.

Buenos Aires participó como benchmarking participant, un concepto que no he visto explicado en los documentos que he consultado. Como se puede ver, solo España se encuentra por encima de la referencia central de 500 puntos. A pesar de eso, según datos publicados en la prensa, se encuentra por debajo de la media de los países europeos (539) y de la OCDE (540).

De las comunidades autónomas que participaron con muestra diferenciada, obtienen un resultado mayor que la media de la OCDE:

• Madrid: 549 puntos.
• Asturias: 548 puntos.
• La Rioja: 546 puntos.
• Castilla y León: 546 puntos.

y un resultado inferior a la media de la OCDE:

• Andalucía: 525 puntos.
• Cataluña: 522 puntos.
• País Vasco: 517 puntos.

Suele ser habitual fijarse en los países que obtienen las mayores puntuaciones en estas pruebas, como una posible referencia. En esta edición de PIRLS. Las mayores puntuaciones han sido obtenidas por: Rusia (581 puntos), Singapur (576 puntos), Hong-Kong (569 puntos), Irlanda (567 puntos) y Finlandia (566 puntos).

Rendimiento en comprensión lectora e ISEC

El ISEC es un índice de estatus social, económico y cultural que se obtiene a través de información sobre el nivel de estudios de los padres, su profesión, los recursos domésticos y el número de libros que hay en el hogar.

La puntuación obtenida por España en comprensión lectora es inferior a la que se podría esperar de acuerdo al nivel socioeconómico y cultural de las familias del alumnado participante. Hay países con un nivel socioeconómico y cultural similar que han obtenido puntuaciones mayores que las españolas, como Austria, en la media de la OCDE o Hungría y Polonia, claramente por encima de ella. También hay países con un ISEC medio similar al español que han obtenido puntuaciones inferiores, más concretamente, se trata de Francia y Malta.

Resulta llamativo que las comunidades españolas que obtuvieron una puntuación superior a la media de la OCDE tienen y rendimiento superior al que sería predecible según su ISEC, mientras que las tres comunidades con una puntuación menor que la media de la OCDE, obtuvieron una rendimiento inferior al que sería predecible según su ISEC, siendo el caso más llamativo el del País Vasco, la comunidad con mayor ISEC y menor puntuación.

España y sus comunidades están entre los países evaluados que menos diferencias tienen entre el resultado del alumnado con mayor y menor ISEC.

¿Qué idioma?

Los resultados obtenidos en Cataluña y País Vasco hace preguntarse en qué idioma realizaron las pruebas, un dato que no he encontrado en los informes o noticias que he consultado. El documento de síntesis del marco conceptual e ítems liberados que se publicó en Cataluña, esos ítems liberados están redactados en catalán, lo que me hace pensar que las pruebas se aplicaron en ese idioma. Sobre el idioma utilizado en País Vasco, poco he encontrado, salvo una nota informativa de un colegio que participó en el estudio, que lo describe como una evaluación de la comprensión lectora en euskera y castellano.

Variables relacionadas con las diferencias

Al igual que se detecta en otras evaluaciones a gran escala, las chicas rinden mejor en PIRLS 2016 que los chicos. Los alumnos que han «repetido curso» obtienen un rendimiento significativamente inferior al que obtiene los alumnos que están realizando 4º de primaria en el momento en que les corresponde por edad. La diferencia es de 64 puntos en España. También hay una diferencia, de 20 puntos entre el alumnado escolarizado en centros públicos y el escolarizado en centros privados y concertados. La diferencia entre tipos de centros no llega a ser significativa en Castilla y León y La Rioja. Otro factor que se relaciona con el rendimiento en PIRLS 2016 es el tamaño de la población en la que están escolarizados los participantes: a mayor número de habitantes, mejor rendimiento.

De las preguntas respondidas por los alumnos en los cuestionarios de contexto se obtuvieron distintos índices que parecen relacionarse con los resultados en comprensión lectora:

• Sensación de pertenencia al centro escolar.
• Seguridad en la lectura (confianza en las propias habilidades lectoras).
• Gusto por la lectura.
• Gusto por la lectura de los padres.
• Énfasis del centro en el éxito académico.

La satisfacción del profesorado con su profesión o su experiencia apenas se relacionan con el rendimiento en comprensión. Por ejemplo, en España no se encuentra una correlación significativa entre estas variables y la puntuación en comprensión. El apoyo a la lectura recibido en casa y la asistencia a educación infantil se tratan conjuntamente estableciendo cuatro grupos diferentes, por lo que los resultados han sido bastante complejos.

 

 

El currículo de Lengua en los países de América Latina y El Caribe

Antes del famoso PISA ya se hacían evaluaciones internacionales. Resulta que la primera evaluación PISA se hizo en 2000 y, por ejemplo, el primer estudio regional comparativo y explicativo (PERCE) sobre los sistemas educativos de América Latina y el Caribe se hizo en 1997.

Aunque sea mucho menos conocido, el estudio regional comparativo y explicativo está ya en su tercera edición (TERCE). A la espera de que terminen de analizarse y se publiquen los resultados (las evaluaciones se hicieron en 2013), el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) nos ofrece un documento de análisis curricular que sirvió para la elaboración de las pruebas.

Este documento nos permite que tienen en común los currículos de la asignatura de Lengua de 3º y 6º de primaria o elemental de los países participantes en el TERCE, que son quince: Argentina, Brasil, Chile, Colombia, Costa Rica, Ecuador, Guatemala, Honduras, México, Nicaragua, Panamá, Paraguay, Perú, República Dominicana y Uruguay. El mismo análisis se hace para las asignaturas de Matemáticas y Ciencias Naturales (evaluada sólo en 6º), pero aquí trataremos de lo que tenga que ver más directamente con lectura y comprensión.

Algunos datos interesantes del documento

Los países que participan en el TERCE han mostrado tener un currículo oficial, escepto Panamá, que no lo reporta. El currículo más antiguo es el de Costa Rica, que aprobó sus programas de Educación General Básica en 1957, y el más actual es el de Ecuador, que aprobó en 2011 la Ley Orgánica de Educación Intercultural. Brasil, Colombia, Costa Rica, Guatemala, México, Paraguay y República Dominicana, tienen programas de educación básica aprobados antes de 2000, aunque Guatemala y México los han actualizado posteriormente.

El documento ofrece, país por país, una descripción de la enseñanza del área de Lengua desde las dimensiones disciplinar, pedagógica y evaluativa. La mayor parte de los países coincide en trabajar la lengua priorizando su uso en situaciones comunicativas, y centrándose en la comprensión y producción de textos.

En tercer curso, los contenidos que más países incluyen en sus currículos son: el diálogo, la narración oral, la descripción oral, usos de la lectura (recreativo, informativo), tipos de texto y uso de la puntuación atendiendo a la intención comunicativa. El menor acuerdo (10 de los 15 países) está en la inclusión de la argumentación oral y en el reconocimiento de las macroproposiciones como unidades de sentido.

En sexto curso los contenidos en los que hay mayor acuerdo son: exposición oral, tipos de texto, escritura de cuentos, estructura narrativa, construcción de textos siguiendo un plan y utilizando la narración, la descripción, la argumentación y el diálogo, uso correcto de la concordancia gramatical y de los conectores y uso de la puntuación atendiendo a la intención comunicativa. Los contenidos con menos acuerdo son interpretación de la ambigüedad (7 países), la ironía (6) y las presuposiciones (8); escritura de actas (6 países) y solicitudes (8).