Archivo de la etiqueta: España

PISA 2018 en España. Si no es para nota me la chufla.

El pasado 15 de noviembre la OCDE publicó una nota de prensa en la que se indicaba que aplazan la publicación de los resultados de lectura de PISA 2018.

El motivo de este aplazamiento es que un número considerable de alumnos españoles contestó de una forma anómala a la prueba de fluidez lectora. Esta prueba se empleaba por primera vez en la edición de 2018. El Marco de evaluación de la competencia lectora de PISA 2018 define la fluidez lectora como la facilidad y eficiencia con la que los estudiantes pueden leer textos simples para la comprensión. Según este marco, los resultados de fluidez se reportan en el informe final, pero no forman parte de la escala PISA.

Parece que la forma de evaluar la fluidez es mediante una tarea de lectura silenciosa en la que los estudiantes deben leer 20 oraciones y juzgar si son verdaderas o falsas. Según la nota de prensa, un gran número de alumnos españoles:

  • Realizó esta tarea en menos de 25 segundos, cuando lo habitual es que hacerla bien requiera entre 50 segundos y dos minutos.
  • Dio respuestas con una pauta como todas verdaderas o todas falsas.

Parece lo que tradicionalmente se conoce como responder al azar y a toda prisa. Al parecer, esto no se produjo en otros países y sí que se observó en algunas escuelas de ciertas regiones españolas. El diario El País contactó con una analista de la OCDE que indicó que el problema se percibe, al menos en un 5% de los alumnos.

Algunas dudas que surgen ante esta noticia son:

  • ¿Hay comunidades autónomas que han participado con muestras propias, como se ha hecho en ediciones anteriores de la prueba? ¿No es posible publicar los datos de competencia lectora de alguna de ellas, en la que no se haya observado esta situación?
  • ¿Es posible que las respuestas rápidas y al azar se hayan dado en otras partes de la prueba de competencia lectora en la que resultan más fáciles de detectar? La nota de prensa sugiere que ha habido un impacto considerable en las pruebas de lectura, pero no en las de matemáticas o ciencia.
  • ¿Es posible que en ediciones anteriores se hayan producido problemas de este tipo y que no se hayan detectado hasta la realización de la prueba de fluidez lectora, que al estar informatizada permite controlar el tiempo de realización?
  • ¿Quizá algunos participantes no se toman en serio la prueba al no tener repercusión en sus calificaciones, como sugiere el título de esta entrada?

Y bueno, finalmente, unos momentos para la publicidad: si alguien quiere aprovechar el marco de lectura de PISA (que es un modelo de comprensión bastante extenso e interesante) para mejorar la habilidad lectora de sus alumnos, puede encontrar ideas y recursos en algunos de mis trabajos y colaboraciones, especialmente en Intralíneas, una plataforma online para el trabajo de la comprensión lectora, con textos muy bien escogidos y preguntas que trabajan buena parte de los procesos de lectura que considera PISA. Y también en Manual práctico para el desarrollo de la comprensión lectora. Una propuesta para la Educación Secundaria a partir del marco PISA. Creo que el título ya ilustra bien de qué va el libro.

Y, para los que se ponen muy nerviosos cuando oyen o leen “PISA”, no dije que estas herramientas fueran para preparar la prueba de competencia lectora de PISA: tratar de mejorar un indicador de esa manera me parece bastante tonto. En cambio, tratar de mejorarlo mejorando la habilidad lectora de los alumnos sí que puede ser interesante. Aunque, por ahora, quizá aumentarían los resultados si algunos se tomasen la prueba con un poco de seriedad.

 

 

Deja un comentario

Archivado bajo Competencias básicas, Evaluaciones internacionales

Hábitos de lectura y compra de libros en España

El pasado mes de enero se publicó el informe de resultados del barómetro Hábitos de lectura y compra de libros en España 2018. Este documento es un encargo de la Federación de Gremios de Editores de España y está realizado por Conecta Research & Consulting.

El estudio que se presenta en el informe se ha realizado mediante encuestas telefónicas, con una muestra de 5004 personas de todas las comunidades autónomas españolas. En el caso de menores de 10 años, la encuesta se realizó a alguno de sus padres.

Resultados

Algunos de los datos que nos proporciona esta encuesta son que, de los mayores de 14 años:

  • El 96,1% lee al menos una vez al trimestre en cualquier tipo de soporte. Esta proporción ha aumentado progresivamente desde 2008, cuando afirmó hacerlo el 90,1%.

  • El material que más leen son los periódicos (73,9%), seguido por libros (67,2%), webs, blogs y foros (56,4%), redes sociales (55,5%), revistas (34,9%) y cómics (9,3%). Hay un incremento en la lectura de libros, webs, blogs y foros, mientras que desciende el uso de periódicos, revistas y cómics. Sobre redes sociales solo hay datos anteriores desde 2017. Las mujeres leen más libros y revistas que los hombres, mientras que los hombres hacen más uso de periódicos, webs, blogs y foros y cómics.
  • El 61,8% de los encuestados lee libros en su tiempo libre. La mayor proporción de este tipo de lectores se encuentra en Madrid (72,8%), Navarra (66,7%), País Vasco (63,7%) y La Rioja (63,6%). La menor en Extremadura (52,2%), Canarias (56,7%), Andalucía (56,8%) y Castilla y León (57,9%).
  • Lo más leído son los libros literarios (72,5%), especialmente, novelas y cuentos (68,2%), seguido, a gran distancia por los libros de humanidades y ciencias sociales (13,7%). El resto de géneros o temas está por debajo del 4%. Se trata, mayoritariamente, de libros en español (90,3%), aunque también hay un 5,5% de lectura en catalán.
  • El 78,4% de los encuestados utiliza (no necesariamente de forma exclusiva) la lectura en soporte digital. Su uso más extendido es la lectura de webs, blogs o foros o de redes sociales, pero también se emplea para la lectura de periódicos (46,3%), libros (28,7%) y revistas (6%). El 48,9% utiliza el ordenador, el 31,4% el móvil, cuyo uso se ha incrementado notablemente, el 27,9% una tablet y el 10,8% lector electrónico.
  • En el caso de menores de 6 años, el 75,4% de los padres afirma que alguien de la familia les lee. El 85,2% de encuestados creen que sus hijos de entre 6 y 9 años leen libros que no son de texto. Entre los 10 y los 18 años, el 100% de los consultados afirma leer. Entre los 10 y los 14, el 70,8% se considera lector frecuente, mientras que entre los 15 y los 18 ese porcentaje desciende al 44,7%.. En este segundo grupo de edad aumenta la lectura de webs, blogs y foros, de redes sociales, y de periódicos, disminuye la lectura de libro infantil y juvenil y aumenta la de literatura.
  • Entre los 10 y los 13 años, las obras más leídas son colecciones: El diario de Gregg, Futbolísimos, Harry Potter, Gerónimo Stilton y El diario de Nikki.

 

Deja un comentario

Archivado bajo Curiosidades, Informes, Lectura electrónica, Para leer

PIRLS 2016: los alumnos resilientes

El informe español de PIRLS 2o16 incluye un capítulo titulado Los estudiantes resilientes de cuarto grado en España. Al hablar de estudiantes resilientes se refiere a aquellos alumnos que, a pesar de vivir en un contexto socioeconómico y cultural desfavorable obtienen un buen rendimiento en lectura. Nos interesa conocer cuáles son las características de ese grupo de alumnos, especialmente por si hay algo que se pueda utilizar para mejorar el rendimiento de otros alumnos, en situaciones desfavorables o no.

PIRLS ofrece resultados correlacionales, es decir, relaciona el rendimiento en lectura con datos recogidos de los cuestionarios que completan alumnos, padres y centros escolares. Eso hace que no sea adecuado establecer relaciones causa-efecto a partir de los resultados de PIRLS, pero puede hacer aportaciones interesantes ya que evalúa a muestras representativas y se obtiene mucha información sobre ellas.

Se consideró alumnado resiliente al 15,5% de los participantes españoles. Mediante un análisis de regresión se identificaron las variables que se relacionaban con que un alumno fuera resiliente o no. Teniendo en cuenta que el contexto socioeconómico y cultural se evaluaba mediante el índice ISEC, se descartaron aquellas variables que estaban muy relacionadas con el ISEC, como el número de apoyos en casa para el estudio o el número de apoyos digitales.

Las variables que se relacionaron positivamente con la resiliencia fueron:

  1. Seguridad en la lectura.
  2. Actividades de lectura previas a la escuela.
  3. Actividades previas a la educación primaria.
  4. No estar afectado por escasez de recursos de lectura.
  5. Sexo (los chicos tienen un 20% más de probabilidades de ser resilientes que las chicas).
  6. Actividades de lectura en educación infantil.

Insisto en el carácter corrrelacional de estos resultados. Que el mejor predictor o indicador de la resiliencia sea la seguridad en la lectura no quiere decir que si nos centramos en aumentar la confianza de los alumnos en sus posibilidades vaya a mejorar su habilidad lectora. Se puede hacer la interpretación inversa: que los alumnos con mejor habilidad lectora perciben su capacidad y se sienten más confiados en sus posibilidades.

Sí que resulta llamativo que varios de los factores identificados estén relacionados con el trabajo de la lectura antes del inicio de la educación primaria. En este caso, al ser temporalmente anteriores al aprendizaje de la lectura, sí que puede tener sentido plantear un modelo unidireccional.

Aunque el informe apenas las comenta, resulta extraño el comportamiento de las variables que influyen negativamente en la resiliencia: las dos con mayor impacto fueron “gusto de los padres por la lectura” y “no estar afectado por la escasez de recursos digitales”. Según esto, tenderían a ser resilientes los alumnos con padres a los que no les gusta leer y que tienen poco acceso a recursos digitales.

Deja un comentario

Archivado bajo Evaluaciones internacionales

Resultados de PIRLS 2016

La IEA es la Asociación Internacional para la evaluación del rendimiento educativo, que comenzó a realizar evaluaciones internacionales en 1960. Las evaluaciones más conocidas que realiza actualmente son la prueba TIMMS de matemáticas y ciencia y la prueba PIRLS, de lectura, que es la que nos interesa.

El 5 de diciembre se publicaron los resultados de la cuarta edición de PIRLS (PIRLS 2016). PIRLS se realiza cada 5 años y evalúa la competencia lectora de alumnado de 4º curso de educación primaria. En esta edición se ha tratado de dos pruebas diferentes ya que también se ha realizado una evaluación de la lectura electrónica.

Como suele ser habitual en las evaluaciones internacionales, la escala de resultado está construida con una referencia central de 500 puntos. Algo que me ha despistado bastante es que en la web de resultados de PIRLS 2016 no he encontrado datos como los resultados por regiones o la media de los países europeos o la OCDE, que sí está manejando la prensa. Esos datos están obtenidos de la versión española del informe preliminar de PIRLS 2016.

Veamos los resultados de países de habla hispana:

  • España: 528 puntos.
  • Chile: 494 puntos.
  • Buenos Aires (Argentina): 480 puntos.

Buenos Aires participó como benchmarking participant, un concepto que no he visto explicado en los documentos que he consultado. Como se puede ver, solo España se encuentra por encima de la referencia central de 500 puntos. A pesar de eso, según datos publicados en la prensa, se encuentra por debajo de la media de los países europeos (539) y de la OCDE (540).

De las comunidades autónomas que participaron con muestra diferenciada, obtienen un resultado mayor que la media de la OCDE:

  • Madrid: 549 puntos.
  • Asturias: 548 puntos.
  • La Rioja: 546 puntos.
  • Castilla y León: 546 puntos.

y un resultado inferior a la media de la OCDE:

  • Andalucía: 525 puntos.
  • Cataluña: 522 puntos.
  • País Vasco: 517 puntos.

Suele ser habitual fijarse en los países que obtienen las mayores puntuaciones en estas pruebas, como una posible referencia. En esta edición de PIRLS. Las mayores puntuaciones han sido obtenidas por: Rusia (581 puntos), Singapur (576 puntos), Hong-Kong (569 puntos), Irlanda (567 puntos) y Finlandia (566 puntos).

Rendimiento en comprensión lectora e ISEC

El ISEC es un índice de estatus social, económico y cultural que se obtiene a través de información sobre el nivel de estudios de los padres, su profesión, los recursos domésticos y el número de libros que hay en el hogar.

La puntuación obtenida por España en comprensión lectora es inferior a la que se podría esperar de acuerdo al nivel socioeconómico y cultural de las familias del alumnado participante. Hay países con un nivel socioeconómico y cultural similar que han obtenido puntuaciones mayores que las españolas, como Austria, en la media de la OCDE o Hungría y Polonia, claramente por encima de ella. También hay países con un ISEC medio similar al español que han obtenido puntuaciones inferiores, más concretamente, se trata de Francia y Malta.

Resulta llamativo que las comunidades españolas que obtuvieron una puntuación superior a la media de la OCDE tienen y rendimiento superior al que sería predecible según su ISEC, mientras que las tres comunidades con una puntuación menor que la media de la OCDE, obtuvieron una rendimiento inferior al que sería predecible según su ISEC, siendo el caso más llamativo el del País Vasco, la comunidad con mayor ISEC y menor puntuación.

España y sus comunidades están entre los países evaluados que menos diferencias tienen entre el resultado del alumnado con mayor y menor ISEC.

¿Qué idioma?

Los resultados obtenidos en Cataluña y País Vasco hace preguntarse en qué idioma realizaron las pruebas, un dato que no he encontrado en los informes o noticias que he consultado. El documento de síntesis del marco conceptual e ítems liberados que se publicó en Cataluña, esos ítems liberados están redactados en catalán, lo que me hace pensar que las pruebas se aplicaron en ese idioma. Sobre el idioma utilizado en País Vasco, poco he encontrado, salvo una nota informativa de un colegio que participó en el estudio, que lo describe como una evaluación de la comprensión lectora en euskera y castellano.

Variables relacionadas con las diferencias

Al igual que se detecta en otras evaluaciones a gran escala, las chicas rinden mejor en PIRLS 2016 que los chicos. Los alumnos que han “repetido curso” obtienen un rendimiento significativamente inferior al que obtiene los alumnos que están realizando 4º de primaria en el momento en que les corresponde por edad. La diferencia es de 64 puntos en España. También hay una diferencia, de 20 puntos entre el alumnado escolarizado en centros públicos y el escolarizado en centros privados y concertados. La diferencia entre tipos de centros no llega a ser significativa en Castilla y León y La Rioja. Otro factor que se relaciona con el rendimiento en PIRLS 2016 es el tamaño de la población en la que están escolarizados los participantes: a mayor número de habitantes, mejor rendimiento.

De las preguntas respondidas por los alumnos en los cuestionarios de contexto se obtuvieron distintos índices que parecen relacionarse con los resultados en comprensión lectora:

  • Sensación de pertenencia al centro escolar.
  • Seguridad en la lectura (confianza en las propias habilidades lectoras).
  • Gusto por la lectura.
  • Gusto por la lectura de los padres.
  • Énfasis del centro en el éxito académico.

La satisfacción del profesorado con su profesión o su experiencia apenas se relacionan con el rendimiento en comprensión. Por ejemplo, en España no se encuentra una correlación significativa entre estas variables y la puntuación en comprensión. El apoyo a la lectura recibido en casa y la asistencia a educación infantil se tratan conjuntamente estableciendo cuatro grupos diferentes, por lo que los resultados han sido bastante complejos.

 

 

Deja un comentario

Archivado bajo Evaluaciones nacionales

PIRLS y repetición de curso

Un dato para pensar, del informe español de PIRLS 2016. Recordemos que esa prueba evaluó a alumnado de 4º curso de primaria.

Por otra parte, más del 50% de los estudiantes españoles que no están en el curso correspondiente a su edad no alcanza el nivel intermedio de la escala en comprensión lectora. Estos alumnos, en su mayoría, han tenido que repetir al menos una vez durante su vida escolar. Es decir, los objetivos y acciones derivados de un proceso de repetición de curso no siempre tienen la efectividad que se le presupone lo que, por tanto, invita a reflexionar sobre la idoneidad o el funcionamiento de la repetición de curso, que no corrige las deficiencias en el rendimiento de estos estudiantes como debiera.
Resultado de imagen de replay

3 comentarios

Archivado bajo Evaluaciones internacionales, Intervenciones que no han mostrado eficacia

PISA 2012 resultados de lectura en España

La primera conclusión que ofrece el informe PISA 2012 para España es de las que producen vergüenza, quizá por eso ha sido poco comentada, a pesar de ser lo primero que se lee después de los títulos. Literalmente dice

 El rendimiento educativo de España en matemáticas, lectura y ciencias permanece justo por debajo de la media de la OCDE a pesar de haber incrementado en un 35% el gasto en educación desde 2003 y de los numerosos esfuerzos de reforma a nivel estatal y regional.

Concretamente, en el caso de la lectura, los resultados son casi idénticos a los que se obtuvieron en PISA 2000, con lo que es lícito pensar que las medidas que se han tomado en estos años para mejorar la competencia lectora del alumnado no han sido útiles para producir mejoras. En realidad, el asunto es mucho más complejo ya que la parte más importante de esas medidas ha dependido de las distintas comunidades autónomas, y existen otros factores que han podido influir en los resultados. Por cierto, ¿cuáles han sido las medidas para mejorar la comprensión lectora que se han implantado en estos años? Creo que las dos más importantes por su extensión y por ser diferentes a lo que se hacía anteriormente han sido los planes de lectura (o de comprensión, o de mejora de la comprensión) de centro, y las evaluaciones diagnósticas de 4º de Primaria y 2º de ESO.

Varias comunidades autónomas han realizado PISA con una muestra ampliada para obtener su propio resultado. Los de competencia lectora, de mayor a menor han sido: Madrid (511), Navarra (509), Castilla y León (505), Asturias (504), Cataluña (501), Galicia (499), País Vasco (498), Aragón (493), La Rioja (490), Cantabria (485), Andalucía (477), Baleares (476), Murcia (462), Extremadura (457).

Para ver la evolución de las distintas comunidades autónomas doy los resultados que han obtenido en competencia lectora en 2003, 2006, 2009 y 2012:

Andalucía: —-, 445, 461, 477.
Aragón: —-, 483, 495, 493.
Asturias: —-. 477, 490, 504.
Baleares: —-, —-, —-, 476.
Cantabria: —-, 475, 488, 485.
Cataluña: 483, 477, 498, 501.
Castilla-León: 499, 478, 503, 505.
Extremadura: —-, —-, —-, 457.
Galicia: —-, 479, 486, 499.
La Rioja: —-, 492, 498, 490.
Madrid: —-, —-, —-, 511.
Murcia: —-, —-, —-, 462.
Navarra: —-, 481, 497, 509.
País Vasco: 497, 487, 494, 498.

Deja un comentario

Archivado bajo Evaluaciones internacionales, Evaluaciones nacionales

¿PISA para adultos? Comprensión lectora en el PIAAC

Eso que los medios de comunicación y el ministerio de educación han llamado “PISA para adultos” no es una versión pornográfica de las pruebas PISA, sino un estudio de la OCDE llamado PIAAC por sus siglas en inglés  (Program for the International Assessment of Adult Competencies). Las competencias que ha medido han sido la lectora, la matemática, y la de resolución de problemas en un entorno tecnológico, del que apenas hemos sabido nada ya que en españa no se evaluó.

Como es costumbre en este blog, para quien quiera acudir a la fuente original, aquí está el enlace a First Results from the Survey of Adult Skills, o la versión en español (volumen 1, volumen 2). Aunque parezca poco atractivo enfrentarse a un documento técnico de 466 páginas, gran parte de ellas son gráficos y tablas, y al principio de la obra se puede encontrar un breve resumen ejecutivo de sólo 2 páginas. No se trata para nada de una clasificación o ranking de países en determinadas habilidades o conocimientos, sino que más bien es un análisis del mercado laboral, las competencias que se emplean en él, y los requisitos para mejorar la productividad. Aunque los medios de comunicación se han centrado en lo de “España a la cola en lectura y matemáticas”, también se proporcionan datos sobre la baja cantidad de hogares con ordenador y acceso a internet, de personas que utilizan internet para comunicarse con el gobierno, las autoridades o con negocios, los pocos cambios introducidos en las empresas, y sobre todo que, de los países analizados, España es el que tiene la tasa más alta de personas de 25 a 34 años sin educación secundaria.

También se puede encontrar un resumen en español, de 15 páginas y centrado en los resultados obtenidos por España. Para valientes, en este enlace hay una documentación exhaustiva, incluyendo el acceso a las bases de datos de la evaluación.

A quién se evaluó

Se evaluó a personas de entre 16 y 65 años que residían en el país valorado (no tenían por qué tener esa nacionalidad o conocer la lengua oficial) en el momento del estudio , y que no estuviesen institucionalizados. Concretamente, en España se valoró a 6.055 personas.

Resultados

La prueba de competencia lectora tenía 5 niveles de dificultad, pero no son los mismos en los que se clasificó a los participantes ya que en las gráficas se suelen unir los niveles más altos (4 y 5) y se refleja también a los que no llegaron a obtener el nivel 1, el más bajo.

El porcentaje de adultos españoles que alcanzaban los niveles 3, 4 y 5 era ligeramente superior al 30%. Casi el 40% estaba en el nivel 2, aproximadamente el 20% en el nivel 1, y casi el 10% por debajo del nivel 1, siendo el país evaluado en el que hubo más participantes que no alcanzaban ese nivel. Se debe tener en cuenta que en Chipre no se pudo evaluar a casi el 18% de la muestra por problemas de idioma o de capacidad, pero aunque se les añadiese en los niveles más bajos, seguiría habiendo una proporción de adultos chipriotas en los niveles 3, 4 y 5 mayor que la de españoles.

Puntuaciones generales por países

La puntuación general española fue 252 puntos, la media de los países evaluados fue 273 puntos, y la puntuación máxima, obtenida en Japón, 296 puntos. No se encontraron diferencias significativas entre España y Dinamarca, Alemania, Estados Unidos, Austria, Chipre, Polonia, Irlanda, Francia o Italia, pero sí con otros países.

La puntuación general española es mayor cuando se considera solo a los adultos jóvenes, de 16 a 24 años (264) puntos. En ese caso la media es de 280 puntos, y Japón obtuvo 299 puntos, la máxima puntuación.

Una curiosa aplicación

Si todo ha funcionado correctamente, esta entrada incluye una aplicación de la OCDE con la que se pueden explorar los resultados y realizar comparaciones entre países.

Si la técnica no ha funcionado, es posible encontrar la aplicación en este enlace.

Algunas cuestiones interesantes

  • Mientras que España tienen una notable proporción de jóvenes de 25 a 34 años con estudios universitarios, ese grupo no destaca especialmente en competencia lectora. La comprensión de los jóvenes japoneses o alemanes que no han seguido estudiando después del bachillerato es similar a la de los jóvenes españoles con formación universitaria.
  • A pesar de que se ha hablado mucho de las diferencias entre países, las mayores diferencias eran las que se obtenían dentro de cada país.
  • Cualquier tiempo pasado no fue mejor: el grupo de edad español que obtuvo mejores puntuaciones fue el de 16-24 años, seguido por el de 25-34 y el de 35-44. Los siguientes grupos de edad obtenían puntuaciones claramente más bajas que éstos.
  • Las profesiones en las que más se utiliza la competencia lectora son las relacionadas con finanzas y seguros, seguidas por las relacionadas con la información y la comunicación. En las que menos se emplea la competencia lectora es en las del ámbito de la construcción.
  • Curiosamente, a pesar de los bajos resultados, España es uno de los países con mayor porcentaje (17%) de trabajadores con una competencia lectora superior a la necesaria para el puesto de trabajo…

La verdad es que todo esto es sólo una mínima parte de la información que se puede encontrar en la fuente original en la que también se realizan interesantes análisis sobre los factores (edad, formación inicial, formación permanente, uso de la lectura en el trabajo) que pueden influir sobre la competencia lectora de los adultos, o se analiza el porcentaje de trabajadores sobrecualificados e infracualificados.

Deja un comentario

Archivado bajo Bases de datos, Evaluaciones internacionales