Resultados de PIRLS 2016

La IEA es la Asociación Internacional para la evaluación del rendimiento educativo, que comenzó a realizar evaluaciones internacionales en 1960. Las evaluaciones más conocidas que realiza actualmente son la prueba TIMMS de matemáticas y ciencia y la prueba PIRLS, de lectura, que es la que nos interesa.

El 5 de diciembre se publicaron los resultados de la cuarta edición de PIRLS (PIRLS 2016). PIRLS se realiza cada 5 años y evalúa la competencia lectora de alumnado de 4º curso de educación primaria. En esta edición se ha tratado de dos pruebas diferentes ya que también se ha realizado una evaluación de la lectura electrónica.

Como suele ser habitual en las evaluaciones internacionales, la escala de resultado está construida con una referencia central de 500 puntos. Algo que me ha despistado bastante es que en la web de resultados de PIRLS 2016 no he encontrado datos como los resultados por regiones o la media de los países europeos o la OCDE, que sí está manejando la prensa. Esos datos están obtenidos de la versión española del informe preliminar de PIRLS 2016.

Veamos los resultados de países de habla hispana:

• España: 528 puntos.
• Chile: 494 puntos.
• Buenos Aires (Argentina): 480 puntos.

Buenos Aires participó como benchmarking participant, un concepto que no he visto explicado en los documentos que he consultado. Como se puede ver, solo España se encuentra por encima de la referencia central de 500 puntos. A pesar de eso, según datos publicados en la prensa, se encuentra por debajo de la media de los países europeos (539) y de la OCDE (540).

De las comunidades autónomas que participaron con muestra diferenciada, obtienen un resultado mayor que la media de la OCDE:

• Madrid: 549 puntos.
• Asturias: 548 puntos.
• La Rioja: 546 puntos.
• Castilla y León: 546 puntos.

y un resultado inferior a la media de la OCDE:

• Andalucía: 525 puntos.
• Cataluña: 522 puntos.
• País Vasco: 517 puntos.

Suele ser habitual fijarse en los países que obtienen las mayores puntuaciones en estas pruebas, como una posible referencia. En esta edición de PIRLS. Las mayores puntuaciones han sido obtenidas por: Rusia (581 puntos), Singapur (576 puntos), Hong-Kong (569 puntos), Irlanda (567 puntos) y Finlandia (566 puntos).

Rendimiento en comprensión lectora e ISEC

El ISEC es un índice de estatus social, económico y cultural que se obtiene a través de información sobre el nivel de estudios de los padres, su profesión, los recursos domésticos y el número de libros que hay en el hogar.

La puntuación obtenida por España en comprensión lectora es inferior a la que se podría esperar de acuerdo al nivel socioeconómico y cultural de las familias del alumnado participante. Hay países con un nivel socioeconómico y cultural similar que han obtenido puntuaciones mayores que las españolas, como Austria, en la media de la OCDE o Hungría y Polonia, claramente por encima de ella. También hay países con un ISEC medio similar al español que han obtenido puntuaciones inferiores, más concretamente, se trata de Francia y Malta.

Resulta llamativo que las comunidades españolas que obtuvieron una puntuación superior a la media de la OCDE tienen y rendimiento superior al que sería predecible según su ISEC, mientras que las tres comunidades con una puntuación menor que la media de la OCDE, obtuvieron una rendimiento inferior al que sería predecible según su ISEC, siendo el caso más llamativo el del País Vasco, la comunidad con mayor ISEC y menor puntuación.

España y sus comunidades están entre los países evaluados que menos diferencias tienen entre el resultado del alumnado con mayor y menor ISEC.

¿Qué idioma?

Los resultados obtenidos en Cataluña y País Vasco hace preguntarse en qué idioma realizaron las pruebas, un dato que no he encontrado en los informes o noticias que he consultado. El documento de síntesis del marco conceptual e ítems liberados que se publicó en Cataluña, esos ítems liberados están redactados en catalán, lo que me hace pensar que las pruebas se aplicaron en ese idioma. Sobre el idioma utilizado en País Vasco, poco he encontrado, salvo una nota informativa de un colegio que participó en el estudio, que lo describe como una evaluación de la comprensión lectora en euskera y castellano.

Variables relacionadas con las diferencias

Al igual que se detecta en otras evaluaciones a gran escala, las chicas rinden mejor en PIRLS 2016 que los chicos. Los alumnos que han «repetido curso» obtienen un rendimiento significativamente inferior al que obtiene los alumnos que están realizando 4º de primaria en el momento en que les corresponde por edad. La diferencia es de 64 puntos en España. También hay una diferencia, de 20 puntos entre el alumnado escolarizado en centros públicos y el escolarizado en centros privados y concertados. La diferencia entre tipos de centros no llega a ser significativa en Castilla y León y La Rioja. Otro factor que se relaciona con el rendimiento en PIRLS 2016 es el tamaño de la población en la que están escolarizados los participantes: a mayor número de habitantes, mejor rendimiento.

De las preguntas respondidas por los alumnos en los cuestionarios de contexto se obtuvieron distintos índices que parecen relacionarse con los resultados en comprensión lectora:

• Sensación de pertenencia al centro escolar.
• Seguridad en la lectura (confianza en las propias habilidades lectoras).
• Gusto por la lectura.
• Gusto por la lectura de los padres.
• Énfasis del centro en el éxito académico.

La satisfacción del profesorado con su profesión o su experiencia apenas se relacionan con el rendimiento en comprensión. Por ejemplo, en España no se encuentra una correlación significativa entre estas variables y la puntuación en comprensión. El apoyo a la lectura recibido en casa y la asistencia a educación infantil se tratan conjuntamente estableciendo cuatro grupos diferentes, por lo que los resultados han sido bastante complejos.

 

 

Anuncio publicitario

Escolarización temprana y comprensión lectora

Quiero comentar dos trabajos sobre la influencia de la educación infantil en el rendimiento escolar futuro centrándome, claro está en el rendimiento en comprensión lectora.

Datos de PIRLS

El primer trabajo está publicado el Boletín de Educación, 11, y fue realizado por el Instituto Nacional de Evaluación Educativa y el Departamento de Educación del Gobierno de Navarra. Se trata, como se indica en el título, de un análisis de datos obtenidos en la evaluación internacional PIRLS.

El informe elaborado a partir de PIRLS 2011 pone de manifiesto que al comenzar la educación primaria muchos niños ya son capaces de realizar tareas de lectura porque sus padres les han enseñado a realizarlas o porque las han aprendido en la escuela infantil.

En la evaluación PIRLS se preguntaba a los padres de los participantes si al entrar en la enseñanza primaria sus hijos eran capaces de:

1. Reconocer la mayor parte del alfabeto.
2. Escribir algunas letras del alfabeto.
3. Leer algunas palabras.
4. Escribir algunas palabras.
5. Leer frases completas.

Los alumnos que tenían estas cinco habilidades obtenían en la prueba PIRLS (realizada cuando cursaban 4º curso de primaria) una puntuación superior a la de los alumnos que las habían adquirido parcialmente y, sobre todo a la de los alumnos que no eran capaces de realizarlas. España, Rumanía, Lituania y Finlandia eran los países en que las diferencias entre estos grupos eran más acusadas.

Se han relacionado dos variables: nivel de lectura antes de entrar en primaria y resultado en comprensión lectora al cursar 4º de primaria, pero esto no indica necesariamente que la enseñanza de la lectura durante la educación infantil produzca mejoras en el rendimiento en lectura en primaria. En primer lugar, como se ha sugerido antes, no sabemos si esos niños habían aprendido a leer porque se les había enseñado en la escuela (aunque es algo bastante probable) o porque les habían enseñado sus padres.

En segundo lugar, al no controlarse otras variables, no sabemos si la relación identificada se explica, simplemente, porque los niños que tienen más facilidad para aprender a leer (los que no tienen dificultades de aprendizaje, los que tienen mejor capacidad intelectual, provienen de situaciones socio-económicas favorables o reciben más apoyo de sus familias) son los que mejor leen posteriormente, independientemente de que se les haya enseñado a leer o no en la educación infantil.

Datos de la evaluación de diagnóstico de 2009

El segundo estudio que comento se titula Escolarización temprana, trimestre de nacimiento y rendimiento educativo en primaria. Se trata de un análisis realizado con datos de la evaluación de diagnóstico de 2009, que se realizó a todos los alumnos de 4º de primaria.

En este caso, la escolarización temprana era la anterior a los 3 años (primer ciclo de educación infantil) ya que, en España, la mayor parte de la población está escolarizada entre los 3 y los 5 años (segundo ciclo de educación infantil), aunque no se trate de una etapa obligatoria.

Trimestre de nacimiento

En la prueba de comunicación lingüística (comprensión lectora y expresión escrita) los participantes alcanzaron una puntuación media de 500 puntos. Al analizar sus resultados según el trimestre en el que habían nacido, los nacidos entre enero y marzo obtuvieron, como media 514 puntos, los nacidos entre abril y junio 510 puntos, los nacidos entre julio y septiembre 500 puntos y los nacidos entre octubre y diciembre 491 puntos.

Escolarización temprana

Pero el dato más interesante aparece al combinar el trimestre de nacimiento con la escolarización o no escolarización en el primer ciclo de educación infantil: los alumnos que no estuvieron escolarizados obtienen -en 4º de primaria- puntuaciones más bajas en competencia lingüística que sus compañeros nacidos en el mismo trimestre del año.

Esta imagen (enlazada desde ineeblog) muestra muy bien las diferencias:

Comentario

Me pierdo bastante al tratar de interpretar las regresiones multinivel, pero creo que no se estudia la interacción entre escolarización temprana y nivel social, económico y cultural de las familias. Se trata de algo importante por dos motivos:

1. Las regresiones encuentran una relación (bastante predecible) entre el rendimiento en 4º y distintas variables de la familia como el ISEC, pertenecer a familia monoparental, ser inmigrante o hablar en casa un idioma distinto al de la escuela.
2. El estudio documenta cómo la escolarización temprana es menor cuanto menor es el ISEC de la familia.

Son dos buenas razones por las que se pueden plantear la hipótesis de que los supuestos beneficios atribuidos a la escolarización temprana podrían ser, en realidad, el efecto del mejor nivel social, económico y cultural de las familias que escolarizan tempranamente a sus hijos. Como indico, esto es simplemente una hipótesis.

Pruebas EGRA para la evaluación inicial de la lectura

El test que comento en esta entrada es una pequeña parte de una batería para la detección e identificación de necesidades educativas especiales en alumnos con TDAH y dificultades de aprendizaje (también se puede encontrar aquí). Se trata de un enorme trabajo coordinado por Ceferino Artiles y Juan Eugenio Jiménez, y publicado por la consejería de educación del Gobierno de Canarias.

Para lo que nos interesa, tiene un test de evaluación inicial de la lectura, para el tercer curso de Infantil y los dos primeros de Primaria, y esa prueba incluye (sección 6) la lectura y comprensión de un pasaje, y una prueba de comprensión oral (sección 7), además de pruebas de lectura, escritura, cálculo, resolución de problemas y función ejecutiva.

Para encontrar la prueba de comprensión

No es que tenga dudas de cualquiera pueda encontrar la prueba, pero como el índice es un poco escueto, doy alguna indicación, la batería se puede descargar con el enlace que aparece en el primer párrafo, pero es un documento con algo más de 100 páginas.

• Las pruebas de lectura se presentan en la página 45.
• El texto que lee el alumno está en la página 69.
• Las instrucciones y las preguntas de comprensión lectora están en la página 63.
• Los baremos de comprensión lectora se encuentran en la página 53 (1º de Primaria) y 54 (2º de Primaria). Estos baremos han sido obtenidos con estudiantes de Canarias.

Un curioso antecedente

En realidad el EGRA ya existía antes de ser publicado en esta batería. Se puede encontrar su descripción e información muy interesante sobre su uso en el Manual para la Evaluación Inicial de la Lectura en Niños de Educación Primaria, escrito por Jiménez para USAID, agencia estadounidense para la cooperación internacional. Existe un análisis psicométrico de las pruebas realizado en Honduras y Nicaragua.

 

PISA 2012 resultados de lectura en España

La primera conclusión que ofrece el informe PISA 2012 para España es de las que producen vergüenza, quizá por eso ha sido poco comentada, a pesar de ser lo primero que se lee después de los títulos. Literalmente dice

 El rendimiento educativo de España en matemáticas, lectura y ciencias permanece justo por debajo de la media de la OCDE a pesar de haber incrementado en un 35% el gasto en educación desde 2003 y de los numerosos esfuerzos de reforma a nivel estatal y regional.

Concretamente, en el caso de la lectura, los resultados son casi idénticos a los que se obtuvieron en PISA 2000, con lo que es lícito pensar que las medidas que se han tomado en estos años para mejorar la competencia lectora del alumnado no han sido útiles para producir mejoras. En realidad, el asunto es mucho más complejo ya que la parte más importante de esas medidas ha dependido de las distintas comunidades autónomas, y existen otros factores que han podido influir en los resultados. Por cierto, ¿cuáles han sido las medidas para mejorar la comprensión lectora que se han implantado en estos años? Creo que las dos más importantes por su extensión y por ser diferentes a lo que se hacía anteriormente han sido los planes de lectura (o de comprensión, o de mejora de la comprensión) de centro, y las evaluaciones diagnósticas de 4º de Primaria y 2º de ESO.

Varias comunidades autónomas han realizado PISA con una muestra ampliada para obtener su propio resultado. Los de competencia lectora, de mayor a menor han sido: Madrid (511), Navarra (509), Castilla y León (505), Asturias (504), Cataluña (501), Galicia (499), País Vasco (498), Aragón (493), La Rioja (490), Cantabria (485), Andalucía (477), Baleares (476), Murcia (462), Extremadura (457).

Para ver la evolución de las distintas comunidades autónomas doy los resultados que han obtenido en competencia lectora en 2003, 2006, 2009 y 2012:

Andalucía: —-, 445, 461, 477.
Aragón: —-, 483, 495, 493.
Asturias: —-. 477, 490, 504.
Baleares: —-, —-, —-, 476.
Cantabria: —-, 475, 488, 485.
Cataluña: 483, 477, 498, 501.
Castilla-León: 499, 478, 503, 505.
Extremadura: —-, —-, —-, 457.
Galicia: —-, 479, 486, 499.
La Rioja: —-, 492, 498, 490.
Madrid: —-, —-, —-, 511.
Murcia: —-, —-, —-, 462.
Navarra: —-, 481, 497, 509.
País Vasco: 497, 487, 494, 498.

Prácticas docentes para el desarrollo de la comprensión lectora en Primaria

El título de esta entrada coincide con el de un libro publicado en 2007 por el Instituto Nacional para la Evaluación de la Educación de México. Los autores son Ernesto Treviño, Horacio Pedroza, Guadalupe Pérez, Paul Ramírez, Gabriela Ramos y Germán Treviño, y el contenido es un estudio sobre qué hacen los profesores de Primaria mexicanos para desarrollar la comprensión lectora de sus alumnos, y qué características de estos profesores pueden estar relacionadas con la comprensión de los alumnos.

Este estudio no relaciona las prácticas ni las características de los profesores con el rendimiento de los alumnos, pero nos permite saber más sobre las actuaciones y creencias más comunes sobre la comprensión lectora y su desarrollo en los profesores mexicanos (participaron 5.900 profesores de 905 escuelas, seleccionados para ser representativos de las escuelas y el profesorado de Primaria mexicano).

Datos y resultados

Se aportan gran cantidad de resultados difíciles de resumir, así que me limito a comenta las cosas que más me llaman la atención e invito a quien tenga interés en profundizar más a que consulte el texto completo de la investigación.

Y lo que más me llama la atención, aunque pueda parecer un dato irrelevante es que casi nunca existe la unanimidad, incluso ante preguntas en las que las cosas podrían estar bastante claras. Se puede ver un ejemplo claro en este ítem:

Los alumnos que en primer grado todavía no pronuncian correctamente algunos grupos de sonidos con “r” o “l”, como en “trailer” y “aplauso”, no podrán adquirir las habilidades básicas para la escritura, a menos que se corrija su pronunciación.

Se trata de una afirmación falsable: si se encuentran alumnos que no pronuncian correctamente esos grupos consonánticos y aprenden a escribir correctamente la afirmación será falsa. Además se trata de un problema relativamente frecuente, de modo que es fácil que los profesores (al menos los de primer grado) hayan tenido contacto con alumnado con esas características. A pesar de eso, el 31% del profesorado está de acuerdo con el ítem y el 69% está en desacuerdo.

Creo que solo hay un elemento en el que se da una respuesta unánime y es la afirmación de que una de las causas del bajo desempeño de los alumnos en comprensión lectora es que las familias no fomentan la lectura fuera de la escuela, algo en lo que el 95% de los docentes están de acuerdo.

Programa de Televisión Educativa acerca del informe el INEE

Los profesores mexicanos de Primaria consideran que la actividad más importante para mejorar la comprensión lectora son las actividades escritas a partir de lo que se ha leído, como contestar a preguntas sobre lo leído o hacer resúmenes. En bastante menor medida también consideran que hablar sobre los libros y la lectura es útil para mejorar la comprensión lectora. Resulta curioso cómo los resultados de los profesores de primer grado son muy parecidos a los de 4º y 5º cursos, aunque existe una diferencia, y es que los profesores que trabajan con los alumnos más pequeños dan más importancia a que los alumnos escuchen leer en voz alta que los que trabajan con mayores.

Sí que se producen mayores diferencias en cuanto a las estrategias que se consideran más útiles para promover la comprensión. Entre los profesores de primer grado se considera que las más útiles son visualizar o construir imágenes a partir de lo leído, y establecer relaciones entre lo que se sabe y lo que se lee. En cambio entre los profesores de cursos superiores predomina el uso de relacionar lo que se sabe con lo que se lee, y se da una importancia parecida a subrayar ideas principales, recordar la información esencial y construir imágenes a partir de lo leído.

Otro dato curioso es que el 65% de los profesores de Primaria tiene en su casa menos de 40 libros distintos de los de uso escolar, y el 32% de los profesores afirmaron que solo habían leído uno o ningún libro en los seis meses anteriores.

Aunque no tenga mucho que ver con la comprensión lectora me ha llamado mucho la atención una pregunta que es si hay goteras en la clase cuando llueve. Dejando de lado las escuelas privadas urbanas, en las que solo hay un 6% de goteras, la proporción de goteras va desde el 35% de las escuelas públicas urbanas hasta el 50% de las escuelas indígenas. Me irrita la situación y la irritación aumenta al ver las respuestas a la pregunta “las aulas se inundan cuando llueve” o a otras como cuarteaduras en paredes y techos, falta de vidrios o funcionamiento de los sanitarios (baños, servicios, o retretes).

Como ya he dicho, el estudio ofrece mucha información interesante, por ejemplo, cuáles son las actividades de lectura y comprensión más habituales en las aulas, y también dedica un capítulo a establecer una relación entre las características del profesorado y sus prácticas para mejorar la comprensión lectora.

¿Afecta el número de alumnos por profesor a la competencia lectora?

Se ha aprobado la posibilidad de aumentar hasta un 20% el número máximo de alumnos por aula en Educación Primaria y Secundaria Obligatoria. El Real Decreto-ley 14/2012 no oculta que forma parte de un conjunto de medidas encaminado a conseguir la estabilidad presupuestaria, y se sugiere que tiene un carácter transitorio «en tanto subsistan en la normativa básica en materia de oferta de empleo público las medidas limitativas de incorporación de personal de nuevo ingreso». Profesores y sindicatos se han opuesto a esta medida argumentando que producirá un deterioro en la calidad de la enseñanza. Así que puede ser interesante analizar qué sabemos sobre los efectos del número de alumnos por aula y el número de alumnos por profesor.

En primer lugar, quiero señalar que la idea de que el ministro José Ignacio Wert defiende el aumento del número de alumnos por aula porque permite una mejor socialización de los alumnos, me parece una forma bastante sesgada de contar lo que realmente dijo (aquí se puede encontrar una grabación). Es evidente que se está refiriendo a aulas con un número muy pequeño de alumnos.

En segundo lugar, recomiendo la lectura de Esos análisis que carga el diablo y de Ah, la ratio, que analizan los posibles efectos del aumento basándose en datos del sistema educativo español (como casi siempre la mayor parte de la investigación sobre el tema se ha hecho en Estados Unidos).

En tercer lugar conviene tener en cuenta que una cosa es el número de alumnos por aula, y otra el número de alumnos por profesor. Un aula con 20 alumnos tendrá asignado un tutor, pero en un colegio de Primaria con 18 aulas no tiene por qué haber solo 18 tutores. Puede haber orientador (en algunas comunidades autónomas), profesorado de apoyo y especialistas en idiomas, música, educación física,… Normalmente la suma de la jornada laboral de todos estos profesores es más que la jornada laboral de 18 profesores. Lo habitual es que el número de profesores con que cuenta un centro escolar se calcule según el número de aulas. Hacerlo según el número de alumnos produciría serios problemas de organización. Si un aula con 20 alumnos tiene un tutor y una hora de música, un aula con 10 alumnos tendría medio tutor y media hora de música.

Datos recogidos

En esta gráfica se puede ver la evolución del número de alumnos por profesor en España. Me imagino que a algunos les bastará para alcanzar sus propias conclusiones según las mejoras que hayan percibido entre 1991 y 2008 fechas  entre las que se ha reducido casi en 7 el número de alumnos por profesor.

Extraído de Indicadores Educativos del Ministerio de Educación

En las evaluaciones de la competencia lectora de PISA realizadas desde el año 2000 los resultados de España han sido: PISA 2000: 493 puntos, PISA 2003: 481 puntos, PISA 2006: 461 puntos, PISA 2009: 481 puntos. Desde luego las puntuaciones no han mejorado.

Cuando algún compañero me presenta como propuesta magnífica de mejora de la educación la reducción del número de alumnos, le suelo decir que lo que se ha estudiado sobre el tema indica que hacen falta reducciones bastante grandes para que se noten los efectos. En muchas ocasiones el debate suele terminar diciendo que los estudios no pueden tener en cuenta muchas de las variables importantes. En el caso del rendimiento entre los años 2000 y 2009 se podrían añadir datos como el aumento del nivel educativo de los padres de los alumnos, o la evolución de la inversión en educación, pero lo cierto es que PISA es una prueba que siempre mantiene la misma media (500 puntos), de modo que la conclusión de que un país se mantiene igual porque obtiene puntuaciones parecidas en sucesivas ediciones de la prueba implica suponer que no ha habido mejoras (o empeoramientos) generales del conjunto de países que realizan la evaluación.

A continuación se ofrece una gráfica extraída del Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en Tercero y Cuarto Grado. Se trata de un estudio realizado en alumnos de 3º y 4º curso de Primaria de países de América del Sur y El Caribe.  El texto nos dice que los resultados obtenidos están «en concordancia con la tendencia general mostrada por otras investigaciones, que señalan que en materia de rendimiento un mayor número de alumnos por sala de clases tiene un efecto negativo de proporciones sumamente pequeñas». El Informe Técnico del estudio nos dice «el efecto es relativamente débil, ya que a una reducción de 10 estudiantes se asocia un aumento de rendimiento de aproximadamente 5 puntos en cada una de las pruebas» (las escalas se construyeron con una media de 250 puntos y una desviación estándar de 50). Por tener una referencia, el clima de aula se relaciona con diferencias de 92 puntos, el que los padres lean a veces, con diferencias de 3 puntos, y de casi 6 puntos si lo hacen a menudo.

Extraído de Casassus et al. (2000). Primer estudio internacional comparativo. Segundo informe. Santiago de Chile: Unesco   

Quizá el estudio más citado sobre los efectos del tamaño de la clase en el rendimiento es Meta-Analysis of Research on Class Size and Achievement, un metanálisis de Glass y Smith, publicado en 1979 que no he podido conseguir. Pero buscándolo he encontrado un par de revisiones narrativas que nos informas de varios proyectos de investigación sobre el efecto del tamaño de la clase. Desconozco quién es el autor de la que se titula How Smaller Class Size Affects Student Achievement: A Literature Review of the STAR project and other studies. La otra revisión es de Bruce Biddle y David Berliner (2002), y se titula What Research Says about Small Classes and their Effects.

En estas revisiones se tratan algunos programas de estudio de los efectos de la reducción del número de alumnos por clase en la enseñanza inicial (infantil y primeros cursos de primaria):

• Indiana’s project Prime Time, que trató de reducir el tamaño de las clases a 18 alumnos por profesor.
• Student-Teacher Achievement Ratio (STAR) project, de Tennessee. Comparó clases con de 13 a 17 alumnos con clases de 22 a 25 alumnos y clases con de 22 a 25 alumnos y profesor ayudante.
• Student Achievement Guarantee in Education (SAGE) project, de Wisconsin. Comparaba distintas configuraciones de clase: clase con 15 alumnos, dos clases de 15 alumnos con espacio compartido, clase de 30 alumnos con dos profesores, clase con de 16 a 20 alumnos en la que había un segundo profesor para ciertas áreas.
• California Class Size Reduction Program (CSRP), de California (obviamente). Comparaba clases con más y con menos de 20 estudiantes.

Se han hecho numerosas publicaciones sobre estos estudios que, en general, muestran efectos positivos de los grupos reducidos en diversas áreas como rendimiento escolar (incluyendo resultados en pruebas de lectura), problemas de comportamiento, o rendimiento futuro. Otro efecto interesante es que las ventajas observadas son mayores en los alumnos provenientes de familias de bajo estatus socio-económico, contribuyendo a homogeneizar el rendimento de la clase. También hay autores que se han mostrado críticos, especialmente con cuestiones de método como la forma de asignar a los profesores, la alta tasa de abandono que hubo durante los estudios, o la forma de seleccionar las escuelas que ofertaban los programas.

También he encontrado revisiones con una perspectiva menos favorable a la reducción de alumnos, como la de Matthew Chingos y Grover Whitehurst (2011), titulada Class Size: What Research Says and What it Means for State Policy. Esta revisión cita algunos estudios con resultados dudosos y dos estudios con resultados nulos.

Sin conclusión

De momento la cosa queda de la siguiente manera: hay bastante investigación sobre los efectos del tamaño de la clase sobre el rendimiento de los alumnos. Solo el metanálisis de Glass y Smith, publicado en 1979 ya había identificado 80 estudios. Estos estudios varían en la calidad de su método. Generalmente se reconoce que el estudio de mayor calidad que se ha realizado hasta el momento es el proyecto STAR, de Tennessee, uno de los estudios que encuentra mayores efectos positivos de la reducción del tamaño de la clase.

Cuando se revisan los estudios realizados se puede llegar a conclusiones diversas dependiendo, especialmente, del criterio que se siga para elegir los estudios. Tanto quienes son favorables a reducir el tamaño de las clases como quienes están en contra de ello se ponen de acuerdo en algunos puntos. El primero es que los efectos de la reducción del número de alumno por clase se notan especialmente cuando se forman clases de 20 alumnos o menos. El segundo es que los alumnos provenientes de grupos desfavorecidos se benefician más de las ventajas de la reducción, y el tercero es que la investigación disponible se refiere a alumnos de Educación Infantil o de los primeros cursos de Educación Primaria, y que sería aventurado suponer que se puedan extrapolar a cursos superiores.

Desliz del ministerio: la correlación no es causalidad

La nota de prensa con la que el Ministerio de Educación presentó los resultados de la evaluación general de diagnóstico 2010 dice:

Ni el centro elegido, ni la repetición de curso, ni la comunidad autónoma en la que se viva: lo que más determina el éxito escolar son las propias expectativas académicas del alumnado, seguidas de variables como el nivel de estudios de los padres y del número de libros que hay en casa. Así se desprende de la Evaluación General de Diagnóstico 2010, realizada entre estudiantes de 2º de ESO de las 17 comunidades autónomas españolas y las ciudades autónomas de Ceuta y Melilla.

Mario Bedera presentando los resultados de la evaluación (de la nota de prensa del ministerio)

Vaya por delante que nadie está libre de error y que, sin ir más lejos leyendo con atención estas cosas que escribo seguro que se pueden encontrar meteduras de pata de distintos calibres. Pero, cuando un error puede llevar a adoptar decisiones incorrectas creo que es necesario señalarlo. En este caso, se trata de problema bastante frecuente en investigación: confundir la correlación con la causalidad.

En la evaluación de diagnóstico se han evaluado los resultados de los alumnos en cuatro competencias y se han tomado, mediante cuestionarios, datos de los alumnos y de los centros en los que estudian. Analizando todo esa información mediante correlaciones o mediante análisis de regresión, se puede ver cómo hay relación entre los resultados de los alumnos y otras variables, pero este método de estudio no permite establecer qué variables son causas y cuáles son efectos.

El ejemplo que nos da el Ministerio de Educación es muy bueno: las espectativas del alumnado. La correlación entre espectativas y resultados entre la prueba de competencia lingüística es… ¡vaya!, el informe no nos da ese dato. Pero sí que ofrece un gráfico en el que se aprecia que hay 113 puntos de diferencia entre los resultados de los que solo esperan terminar los estudios obligatorios y los resultados de los que esperan graduarse en la universidad. Es más de una desviación típica, así que se puede intuir que la correlación entre expectativas académicas del alumnado y rendimiento en competencia lingüística es grandísima, pero ¿son esas expectativas lo que determina el rendimiento, tal como nos dice el ministerio? Hay una interpretación alternativa muy verosímil y es que los alumnos ajustan sus expectativas a sus resultados. Supongamos que los alumnos con menor competencia lingüística obtienen más suspensos que sus compañeros. Es probable que piensen que su futuro no pasa por graduarse en filosofía, y, con cierta cantidad de suspensos sepan que ni siquiera van a poder acceder a enseñanzas medias de formación profesional al terminar la ESO. Por otra parte no hay nada sorprendente en que el alumno que obtiene resultados altos esté pensando en acudir a la universidad y realizar estudios superiores.

Del mismo modo que los datos relacionales recogidos en la evaluación no permiten decir que las expectativas altas sean causa del buen rendimiento, tampoco se puede afirmar que buen rendimiento sea la causa de las expectativas altas. Para llegar a esas conclusiones habría que utilizar otros métodos de investigación.

¿Qué consecuencias puede tener este error? Si aceptamos que las expectativas del alumnado son lo que más determina el nivel de competencia que alcanza, para qué vamos a desperdiciar recursos interviniendo sobre otros factores como la formación del profesorado, los contenidos de los programas, o la atención a la diversidad (la verdad es que esos tres no han sido analizados en la evaluación), el clima escolar, o la distribución del alumnado extranjero. Basta con convencer al alumnado o emplear técnicas de «coaching» para que aspiren a alcanzar el máximo nivel de estudios.

Cuando escribo esto la temperatura en la calle es de 6 grados. Sumergiré el termómetro en agua caliente hasta que marque 30º y saldré a la calle en camiseta de tirantes. Va a ser una mañana calurosa.

Queda otra cosa que no me acaba de encajar y es que, según la nota de prensa, tras las expectativas de los alumnos, lo que más determina el éxito escolar es el nivel de estudios de los padres y el número de libros que hay en casa.

Intentando ver si hay otras variables que tengan mayor relación con el rendimiento de los alumnos me doy cuenta de que en el informe se dan resultados por alumnos, por centros y por comunidades autónomas. A veces se dan diferencias de medias, a veces el porcentaje de varianza del rendimiento explicado por una variable y a veces el coeficiente de determinación (¿igual han establecido que hay ciertas variables que determinan el rendimiento de los alumnos por el nombre ese de coeficiente de determinación?). Tras una hora y media dando vueltas a los resultados dejo para otras personas más capaces y pacientes la tarea de desentrañar todo eso.

También introduzco correcciones en mi entrada anterior. Me he dado cuenta de que me había equivocado en algunas cosas. Errare humanum est.

Información adicional

· La nota de prensa del ministerio.

Evaluación general de diagnóstico 2010

En julio de 2011 (qué casualidad, en plenas vacaciones escolares) el Ministerio de Educación presentó los resultados de la evaluación general de diagnóstico realizada en 2010 en alumnado de 2º curso de educación secundaria.

A diferencia de las evaluaciones de diagnóstico autonómicas, en la evaluación general no se examina a todo el alumnado, sino a una muestra  de 50 colegios de cada comunidad autónoma y todos los estudiantes de Ceuta y Melilla. En total se ha evaluado a 29.154 estudiantes.

La prueba de competencia lingüística no evaluaba solo la comprensión lectora, al estilo de las pruebas Pisa, sino que también evaluaba comprensión oral y expresión escrita.

En los resultados de esta competencia se pueden apreciar tres zonas. Por encima de la región coloreada de azul están las comunidades que obtienen resultados 20 puntos por encima de la media: Asturias, Castilla y León, Madrid, Navarra y La Rioja.

En la región azul están las que se encuentran menos de 20 puntos por encima o por debajo de la media, y en la parte inferior están las ciudades de Ceuta y Melilla, que obtienen una puntuación claramente inferior a la media. La razón para marcar un límite de 20 puntos es que se trata de un quinto de la desviación típica, pero no se explica qué significado tiene esta referencia que no pudiera tener un octavo o un tercio de la desviación típica. Quien sigue el blog desde el inicio ya sabe que que con una desviación típica de 100, 20 puntos de diferencia equivalen a una d de Cohen de 0,20, es decir, un tamaño del efecto pequeño. Una de las conclusiones de la evaluación general de diagnóstico es que las diferencias entre comunidades son muy pequeñas. Concretamente, la nota de prensa redactada por el ministerio de educación dice:

hasta 14 comunidades presentan resultados que no difieren en más de 20 puntos de la media española en las cuatro competencias analizadas, y por tanto no muestran diferencias significativas entre ellas. La proporción de la variabilidad de los resultados explicada por la diferencia entre comunidades autónomas no llega en ningún caso al 4%.

En principio esa d menor que 0,20 avala esa interpretación (ojo: la d de Cohen no establece sin un resultado es significativo o no), pero hay que tener cuidado, porque estamos hablando de la diferencia entre el resultado de una comunidad y la media. Si miramos en el gráfico la diferencia entre Andalucía y Aragón es de aproximadamente unos 30 puntos, que equivalen a una d de 0,30. Ya estamos hablando de un tamaño del efecto moderado. El gráfico que resume los resultados es un diagrama de barras de error, en el que el rombo blanco representa la media de los resultados de cada comunidad, y las líneas que salen de él representan el intervalo de confianza (habitualmente del 95%). Cuando las líneas de dos comunidades no tienen valores comunes (no se superponen) podemos decir con bastante seguridad que sus resultados son diferentes.

Los gráficos de la entrada están extraídos de la evaluación general de diagnóstico 2010

El ISEC (índice de estatus social, económico y cultural) tiene un notable efecto sobre las puntuaciones en competencia lingüística. Un 12,2% de la varianza de los resultados de competencia lingüística se relaciona con el estatus de los alumnos. En el gráfico adjunto se puede ver esta relación: cuanto mayor es el ISEC mayor es el resultado en la competencia lingüística. Sin embargo hay comunidades que están por encima de la línea, es decir, que obtienen un resultado superior al que se podría prever teniendo en cuenta el ISEC, y otras que están por debajo de la línea: obtienen un resultado inferior.

En la evaluación se analizan otros factores relacionados con el rendimiento. En el caso de la competencia lingüística las chicas obtienen una media 22 puntos superior a la media de los chicos. Los alumnos nacidos en el extranjero tienen 42 puntos menos que los nacidos en España y se presentan las conclusiones de un análisis, que no acabo de entender, según las cuales la presencia de alumnado de origen extranjero en las clases no parece tener mucha influencia en los resultados del alumnado nacido en España.

Cuanto mayores son las expectativas del alumnado sobre su formación mejores son sus resultados: los que esperan simplemente terminar la ESO obtienen una puntuación media de 425 puntos, mientras que los que piensan concluir una carrera universitaria alcanzan los 538 puntos.

A continuación incluyo una lista de otros factores que se analizan, junto con la correlación que tienen con la competencia lingüística:

Tiempo libre:

• Uso que se da al tiempo libre:   r = 0,18.
• Tiempo dedicado a la lectura:  r = 0,16.
• Relación con la madre: r = 0,08.

Clima escolar:

• Marginación o rechazo: r = 0,07.
• Diálogo profesor-alumno: 0,09.
• Orden en clase: r = 0,09.
• Valoración negativa del centro: r = 0,15.

Titularidad del centro:

• Centro privado/concertado o público: r = 0,66 (correlación por centros).

Práctica educativa

• Uso de libros de texto y trabajos individuales: r = 0,17.

Otros (información por aproximación)

• PIB por habitante: r = 0,55.
• Nivel de estudios de la población adulta: r = 0,85.
• Alumnado extranjero en ESO: r = 0,54.
• Ratio de alumnos por profesor: r = 0,51.
• Gasto por alumno: r = 0,61.

Estos últimos resultados son por aproximación, ya que sólo se ofrecían para la competencia matemática, añadiendo que eran similares en las restantes competencias. Además, estas correlaciones no tienen en cuenta los resultados por alumnos, sino por comunidades autónomas.

En la práctica educativa sólo se ha señalado el uso de una metodología con libro de texto y trabajos individuales porque otras prácticas como el trabajo en grupos, los debates, la elaboración de materiales por el profesorado, el uso de ordenador en el aula o los procedimientos de evaluación no han mostrado capacidad predictiva para ninguna de las competencias evaluadas.

Y he dejado para el final la información sobre el rendimiento de los alumnos que han repetido curso. Si los alumnos que estaban en el curso que les correspondía por por edad obtenían una puntuación de 525 puntos en la competencia lingüística, los que habían repetido un curso obtenían una puntuación de 452 puntos, y los que habían repetido dos cursos de 425. Una interpretación de estos resultados es que repite curso el alumnado menos competente, pero que esa medida no sirve para mejorar su competencia, ya que no les aproxima a los resultados de sus compañeros de menor edad.

Información adicional

· Documento completo de la evaluación general de diagnóstico 2010.

· Resumen de la evaluación general de diagnóstico 2010.

¿Por qué se hace la evaluación de diagnóstico en 4º de primaria?

La LOE (Ley Orgánica de Educación) establece que

Al finalizar el segundo ciclo de la educación primaria todos los centros realizarán una evaluación de diagnóstico de las competencias básicas alcanzadas por sus alumnos. Esta evaluación, competencia de las Administraciones educativas, tendrá carácter formativo y orientador para los centros e informativo para las familias y para el conjunto de la comunidad educativa.

Es evidente que se si va a hacer una evaluación de este tipo hay que hacerla en algún momento, pero ¿por qué al terminar 4º de primaria y no en otro curso?

En 2008 el Gobierno Vasco publicó un folleto con preguntas sobre la evaluación diagnóstica que se preguntaba lo mismo. La respuesta que dan es la siguiente:

Porque el carácter diagnóstico y formativo de esta evaluación aconseja situarla hacia la mitad de cada una de las etapas obligatorias, dos años antes de su finalización, de forma que sus resultados e informaciones puedan ser utilizados para detectar problemas, adaptar los currículos y el proceso de enseñanza-aprendizaje de cada centro y adoptar medidas de apoyo a aquellos alumnos y alumnas que se considere necesario.

La reflexión que se puede hacer es que si queremos detectar los problemas de la educación primaria y adaptar los currículos sería mejor hacer la evaluación al terminar la etapa: así sabríamos si los alumnos adquieren las competencias que tienen que adquirir en primaria o no. En cambio, si lo que se pretende es detectar a aquellos alumnos que necesitan medidas de apoyo lo razonable sería hacerlo cuanto antes mejor.

¿Se trata de un punto de equilibrio entre las dos funciones? Por ejemplo, en Irlanda, se realiza a todos los alumnos una evaluación estandarizada de lectura y matemáticas al finalizar el 4º curso de primaria (o comenzar el 5º), pero también al finalizar el primer curso (o comenzar el segundo).  Así es más fácil que las dificultades se detecten con tiempo suficiente para intervenir.

Assessing National Achievement in Education, una publicación del Banco Mundial (esta institución ha editado una serie de manuales para llevar a cabo evaluaciones nacionales del sistema educativo) indica lo siguiente:

El curso a evaluar será determinado según las necesidades de educación del ministerio de educación. Si, por ejemplo, el ministerio está interesado en conocer el nivel de aprendizaje de los estudiantes que terminan la educación primaria, podría pedir que la evaluación se realice hacia el final del último año de esta etapa… …El ministerio también puede solicitar una evaluación en el tercer o cuarto curso si precisa datos sobre cómo están funcionando los estudiantes hacia la mitad de la educación básica. Esta información se podría utilizar para introducir medidas de mejora (por ejemplo, formación del profesorado) para solucionar problemas con aspectos específicos del currículo identificados en la evaluación.

En este caso se ve claramente que el objetivo es la mejora del sistema educativo. El alumno simplemente es utilizado para la recogida de información. No quiero decir que las cosas sucedan así en la realidad. Al menos en Navarra se nos pide a los colegios que hagamos un plan de trabajo especial para los alumnos que obtienen los peores resultados en estas evaluaciones. Lo que planteo es ¿por qué no antes?

El mismo documento del Banco Mundial da una pista:

Son pocos los países que realizan evaluaciones a gran escala entre 1º y 3º de primaria. Los estudiantes de estos cursos podrían no ser capaces de seguir instrucciones o de realizar con éxito el tipo de tareas propio de las evaluaciones, especialmente los tests de elección múltiple.

Es decir, el sistema de evaluación típico de estas pruebas, con cuadernillos con textos, problemas u otros items y preguntas de distintos tipos no es útil si los alumnos no tienen un cierto nivel de lectura. Alguien se puede preguntar si los alumnos de segundo de primaria, o incluso los de primero al finalizar el curso no tienen ya un nivel de lectura suficiente para realizar una de estas pruebas. Por lo que veo en mi colegio la mayoría de estos alumnos son capaces de hacer una prueba de evaluación escrita con preguntas de respuesta corta, abiertas, de completar, de unir con flechas, de ordenar y de tipo test (los tipos de ítems que se encuentran en las evaluaciones autonómicas de lectura de primaria). En Perú, en 2010, se ha realizado una evaluación censal de 2º de primaria, incluyendo una prueba de comprensión lectora, lo que indica que los alumnos de esa edad están, en general, capacitados para hacerla.

David Share (de su web en la Universidad de Haifa)

David Share, de la universidad de Haifa, puede iluminarnos sobre todo esto. En un artículo que escribió sobre el anglocentrismo en la investigación y la enseñanza de la lectura nos dice:

En inglés se tarda aproximadamente tres años en alcanzar el nivel de dominio de la descodificación que habitualmente se alcanza en el resto de las lenguas europeas hacia el final del primer curso [de primaria]…
…En sintonía con ese trienio de aprendizaje de la descodificación del inglés, las evaluaciones internacionales de la educación primaria (siempre lideradas por investigadores de habla inglesa) se realizan normalmente en los cursos 3º y 4º. Los estudios de la Asociación Internacional para la Evaluación del Rendimiento Escolar, por ejemplo, justifican la elección de los cursos 3º y 4º diciendo que están en un punto en el que la mayoría de los niños ha superado la fase de descodificación.

La duda que me planteo es ¿se ha elegido 4º de primaria para compararse con otros países que también realizan la evaluación en esos cursos? Si es así hay que tener en cuenta que en los países de habla inglesa se trata de un curso adecuado para detectar a esos alumnos que no han superado la fase de descodificación (y tomar las medidas necesarias). En los países de habla española eso se podría haber hecho en 1º de primaria.

El ISEC

En las evaluaciones de diagnóstico del sistema educativo se está popularizando un indicador muy interesante: el rendimiento del alumnado con respecto al ISEC o índice de estatus social, económico y cultural. Probablemente la variable que mejor permite predecir los resultados de los alumnos es el estatus socio-económico de su familia, así que cuando se pretende comparar el rendimiento de distintos grupos de alumnos es conveniente controlar su efecto. Un sistema educativo en el que hay una correlación alta entre los resultados de los alumnos y el ISEC podría ser bastante ineficaz, y limitarse a reproducir y mantener las diferencias entre los alumnos en función de su estatus socioeconómico. En el Informe de Resultados de la Evaluación General de Diagnóstico 2009 (4º curso de Primaria), elaborado por el Instituto de Evaluación, el ISEC se calculó a partir de las respuesta en los cuestionarios de alumnos y familias, con una media de 0 y una desviación típica de 1. La información que se tuvo en cuenta para la elaboración del ISEC fue:

• Nivel más alto de estudios de los padres.
• Profesión más alta de los padres.
• Número de libros en casa.
• Recursos del hogar: sitio tranquilo para estudiar, conexión a internet, libros de lectura y televisores.

Relación entre ISEC y competencia lingüística

En el siguiente gráfico se representan las distintas comunidades autónomas ordenadas en horizontal según su ISEC medio, y en vertical según sus resultados en competencia lingüística.

Tomada del informe de resultados de la evaluación general de diagnóstico 2009

En la relación entre la competencia en comunicación lingüística (que incluye comprensión lectora y expresión escrita) y el ISEC en las distintas comunidades españolas se obtiene una R² de 0,63, lo que indicaría que casi el 40% de la varianza de los resultados en competencia lingüística se puede predecir a partir del ISEC. Hay comunidades como Andalucía, Murcia, Castilla-la Mancha, Castilla-León o Navarra que obtienen puntuaciones en competencia lingüística por encima de lo que sería predecible por el ISEC de su alumnado. La comunidad que más destaca en esto el La Rioja. En otras comunidades el rendimiento está por debajo de lo predecible, algo que sucede en Canarias, Comunidad Valenciana, Baleares, Cataluña o País Vasco.