Evaluación general de diagnóstico 2010

En julio de 2011 (qué casualidad, en plenas vacaciones escolares) el Ministerio de Educación presentó los resultados de la evaluación general de diagnóstico realizada en 2010 en alumnado de 2º curso de educación secundaria.

A diferencia de las evaluaciones de diagnóstico autonómicas, en la evaluación general no se examina a todo el alumnado, sino a una muestra  de 50 colegios de cada comunidad autónoma y todos los estudiantes de Ceuta y Melilla. En total se ha evaluado a 29.154 estudiantes.

La prueba de competencia lingüística no evaluaba solo la comprensión lectora, al estilo de las pruebas Pisa, sino que también evaluaba comprensión oral y expresión escrita.

Resultados en la competencia lingüística

En los resultados de esta competencia se pueden apreciar tres zonas. Por encima de la región coloreada de azul están las comunidades que obtienen resultados 20 puntos por encima de la media: Asturias, Castilla y León, Madrid, Navarra y La Rioja.

En la región azul están las que se encuentran menos de 20 puntos por encima o por debajo de la media, y en la parte inferior están las ciudades de Ceuta y Melilla, que obtienen una puntuación claramente inferior a la media. La razón para marcar un límite de 20 puntos es que se trata de un quinto de la desviación típica, pero no se explica qué significado tiene esta referencia que no pudiera tener un octavo o un tercio de la desviación típica. Quien sigue el blog desde el inicio ya sabe que que con una desviación típica de 100, 20 puntos de diferencia equivalen a una d de Cohen de 0,20, es decir, un tamaño del efecto pequeño. Una de las conclusiones de la evaluación general de diagnóstico es que las diferencias entre comunidades son muy pequeñas. Concretamente, la nota de prensa redactada por el ministerio de educación dice:

hasta 14 comunidades presentan resultados que no difieren en más de 20 puntos de la media española en las cuatro competencias analizadas, y por tanto no muestran diferencias significativas entre ellas. La proporción de la variabilidad de los resultados explicada por la diferencia entre comunidades autónomas no llega en ningún caso al 4%.

En principio esa d menor que 0,20 avala esa interpretación (ojo: la d de Cohen no establece sin un resultado es significativo o no), pero hay que tener cuidado, porque estamos hablando de la diferencia entre el resultado de una comunidad y la media. Si miramos en el gráfico la diferencia entre Andalucía y Aragón es de aproximadamente unos 30 puntos, que equivalen a una d de 0,30. Ya estamos hablando de un tamaño del efecto moderado. El gráfico que resume los resultados es un diagrama de barras de error, en el que el rombo blanco representa la media de los resultados de cada comunidad, y las líneas que salen de él representan el intervalo de confianza (habitualmente del 95%). Cuando las líneas de dos comunidades no tienen valores comunes (no se superponen) podemos decir con bastante seguridad que sus resultados son diferentes.

Competencia Lingüística e ISEC

Los gráficos de la entrada están extraídos de la evaluación general de diagnóstico 2010

El ISEC (índice de estatus social, económico y cultural) tiene un notable efecto sobre las puntuaciones en competencia lingüística. Un 12,2% de la varianza de los resultados de competencia lingüística se relaciona con el estatus de los alumnos. En el gráfico adjunto se puede ver esta relación: cuanto mayor es el ISEC mayor es el resultado en la competencia lingüística. Sin embargo hay comunidades que están por encima de la línea, es decir, que obtienen un resultado superior al que se podría prever teniendo en cuenta el ISEC, y otras que están por debajo de la línea: obtienen un resultado inferior.

En la evaluación se analizan otros factores relacionados con el rendimiento. En el caso de la competencia lingüística las chicas obtienen una media 22 puntos superior a la media de los chicos. Los alumnos nacidos en el extranjero tienen 42 puntos menos que los nacidos en España y se presentan las conclusiones de un análisis, que no acabo de entender, según las cuales la presencia de alumnado de origen extranjero en las clases no parece tener mucha influencia en los resultados del alumnado nacido en España.

Cuanto mayores son las expectativas del alumnado sobre su formación mejores son sus resultados: los que esperan simplemente terminar la ESO obtienen una puntuación media de 425 puntos, mientras que los que piensan concluir una carrera universitaria alcanzan los 538 puntos.

A continuación incluyo una lista de otros factores que se analizan, junto con la correlación que tienen con la competencia lingüística:

Tiempo libre:

  • Uso que se da al tiempo libre:   r = 0,18.
  • Tiempo dedicado a la lectura:  r = 0,16.
  • Relación con la madre: r = 0,08.

Clima escolar:

  • Marginación o rechazo: r = 0,07.
  • Diálogo profesor-alumno: 0,09.
  • Orden en clase: r = 0,09.
  • Valoración negativa del centro: r = 0,15.

Titularidad del centro:

  • Centro privado/concertado o público: r = 0,66 (correlación por centros).

Práctica educativa

  • Uso de libros de texto y trabajos individuales: r = 0,17.

Otros (información por aproximación)

  • PIB por habitante: r = 0,55.
  • Nivel de estudios de la población adulta: r = 0,85.
  • Alumnado extranjero en ESO: r = 0,54.
  • Ratio de alumnos por profesor: r = 0,51.
  • Gasto por alumno: r = 0,61.

Estos últimos resultados son por aproximación, ya que sólo se ofrecían para la competencia matemática, añadiendo que eran similares en las restantes competencias. Además, estas correlaciones no tienen en cuenta los resultados por alumnos, sino por comunidades autónomas.

En la práctica educativa sólo se ha señalado el uso de una metodología con libro de texto y trabajos individuales porque otras prácticas como el trabajo en grupos, los debates, la elaboración de materiales por el profesorado, el uso de ordenador en el aula o los procedimientos de evaluación no han mostrado capacidad predictiva para ninguna de las competencias evaluadas.

Y he dejado para el final la información sobre el rendimiento de los alumnos que han repetido curso. Si los alumnos que estaban en el curso que les correspondía por por edad obtenían una puntuación de 525 puntos en la competencia lingüística, los que habían repetido un curso obtenían una puntuación de 452 puntos, y los que habían repetido dos cursos de 425. Una interpretación de estos resultados es que repite curso el alumnado menos competente, pero que esa medida no sirve para mejorar su competencia, ya que no les aproxima a los resultados de sus compañeros de menor edad.

Información adicional

· Documento completo de la evaluación general de diagnóstico 2010.

· Resumen de la evaluación general de diagnóstico 2010.

Anuncios

1 comentario

Archivado bajo Evaluaciones nacionales

Una respuesta a “Evaluación general de diagnóstico 2010

  1. Pingback: Desliz del ministerio: la correlación no es causalidad | Comprensión lectora basada en evidencias

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s