Archivo de la categoría: Misión-visión-valores

¿Es la LOMCE una ley basada en evidencias?

Me cuento entre las personas que intentamos difundir una corriente pedagógica llamada “educación basada en evidencias” (aunque “educación basada en pruebas” podría ser una mejor traducción de lo que se propone). No creo que la difusión de sus principios sea un cambio revolucionario, pero sí que podría producir pequeñas mejoras que se vayan acumulando unas con otras.

Borrador de la LOMCE

En principio, que los políticos adopten esta perspectiva es una buena noticia. Significa que a la hora de tomar decisiones se tendrían en cuenta los resultados de las investigaciones realizadas sobre la materia que se está regulando, incluso, que si las cosas no están suficientemente claras las decisiones serían provisionales y se promovería la investigación para tener una buena guía. Desde luego en educación hay muchas cosas que están poco claras, y no estoy hablando de disquisiciones abstractas sobre principios pedagógicos, sino de algo ta cotidiano como los efectos de las tareas escolares sobre el aprendizaje, las mejoras en el rendimiento que produce la repetición de curso, o los “desdoblamientos” (dividir el aula en dos grupos). Por no hablar de cosas como el aprendizaje por proyectos, el aprendizaje basado en inteligencias múltiples, las pizarras digitales, y otras cosas que funcionan por ahí. En cuanto al tema de este blog, resulta preocupante que en 10 años los niveles de comprensión lectora evaluados en pruebas internacionales se hayan mantenido prácticamente sin cambio, a pesar de las medidas que se han tomado para mejorar la comprensión lectora.

Como decía, considero una buena noticia que las leyes educativas se basen en evidencias. Así el apartado los apartados V y VI de la exposición de motivos del borrador de la LOMCE dice:

Los cambios propuestos en nuestro sistema educativo por la LOMCE están basados en evidencias.

La reforma de la LOMCE se apoya en evidencias y recoge las mejores prácticas comparadas.

Pero la pregunta que me hago es: ¿se trata de una auténtica fundamentación en evidencias, o simplemente se están adjudicando una etiqueta que le dé un aire de seriedad y rigor? Analicemos el texto antes de juzgar si estamos ante una propuesta basada en evidencias. Lo primero será ver qué investigaciones se citan. Revisando el texto (versión 2 del anteproyecto, 03/12/12) encuentro las siguientes referencias a investigaciones, estudios y datos oficiales:

Sección V de la exposición de motivos:

  • Tasa de escolarización española.
  • Resultados de PISA.
  • Datos sobre abandono temprano (EUROSTAT 2011)
  • Proyecto de indicadores de la OCDE, para mencionar que recoge datos sobre el porcentaje de jóvenes que finalizan la educación secundaria superior.
  • Recomendaciones de la OCDE “basadas en las mejores prácticas de los paises con mejores resultados”, sin citar ningún documento concreto.
  • Estudios internacionales que “ponen de manifiesto que los países que han mejorado de forma relativamente rápida la calidad de sus sistemas educativos han implantado medidas relacionadas con la simplificación del currículo y refuerzo de los conocimientos instrumentales, la flexibilización de las trayectorias…, el desarrollo de sistemas de evaluación externa…, el incremento de la transparencia de los resultados, la promoción de una mayor autonomía y especialización de los centros docentes, la exigencia a los estudiantes, profesores y centros de la rendición de cuentas, y el incentivo del esfuerzo”, sin citar ningún estudio concreto.

Sección VII de la exposición de motivos:

  • “Recomendación reiterada de la OCDE” del aumento de la autonomía de los centros “para mejorar sus resultados, necesariamente unida a la exigencia de una mayor transparencia en la rendición de cuentas”.
  • Encuestas internacionales (no se cita cuáles) que señalan el punto anterior “como un déficit de nuestro sistema”.
  • Evidencia de que las pruebas de evaluación externa producen “un impacto de al menos 16 puntos de mejora de acuerdo con los criterios de PISA”.

Como puede verse, en las evidencias en que se apoya la LOMCE tienen un peso importante las publicaciones y estudios de la OCDE, entre las que se incluye PISA. Salvo EUROSTAT no se identifican con precisión otras fuentes.

Si se tiene en cuenta que la investigación sobre educación no se agota en los estudios internacionales y sus análisis (que en realidad son una pequeña parte de lo que conocemos sobre educación) se echa en falta información sobre el criterio seguido para seleccionar esos estudios y no otros para fundamentar las reformas. Esta crítica es mucho más importante de lo que parece, ya que en la práctica basada en evidencias la selección de fuentes tiene que ser sistemática y transparente: deben existir unos criterios claros de qué información se selecciona, de forma que cualquiera que emplee esos mismos criterios seleccione esos mismos estudios. ¿Por qué? Porque estudios, en un campo con la educación, hay muchos, y no todos obtienen los mismos resultados. No es nada extraño que en un sector de la educación se encuentre estudios con resultados positivos, resultados no significativos y resultados negativos, debido a muchos factores, como el tamaño de la muestra, los instrumentos utilizados para realizar las mediciones, el tratamiento estadístico de los datos… Si uno selecciona los que quiere, sin un método sistemática, es posible que acabe eligiendo los que apoyan su postura previa.

Algo que llama mucho la atención es  la ausencia de investigación española. El único dato doméstico es la tasa de escolarización. Y eso hace surgir bastantes dudas: ¿no existe investigación española útil para la toma de decisiones educativas?, ¿es irrelevante?, ¿es de menor calidad que los estudios internacionales?, ¿acaso las evaluaciones generales de diagnóstico (están publicadas la de 2009 y 2010) no tienen como objetivo mejorar la calidad de la educación y orientar las políticas educativas? ¿Qué hace el Instituto Nacional de Evaluación Educativa? Pero la gran pregunta es ¿la selección de evidencias sobre educación en la que se ha basado el borrador de la LOMCE es representativa de la investigación que se ha hecho sobre esos temas?

Otra cuestión muy importante es que los resultados de las evaluaciones internacionales, que parecen ser la principal fuente para fundamentar las decisiones de la LOMCE, son correlacionales: permiten establecer relaciones entre variables, pero no se puede determinar que esas relaciones sean de causa-efecto (se puede ver un ejemplo de lo mal que se pueden interpretar este tipo de resultados en la entrada “desliz del ministerio“). Sí que es cierto que el análisis de los estudios internacionales puede aproximarnos a relaciones causa-efecto si se examina el efecto que causa sobre los resultados la introducción de alguna medida. Es fácil comprender que no es lo mismo el hecho de que los países que aplican pruebas externas tengan, como media, 16 puntos más que los que no las aplican, que el hecho de que un país que no aplica pruebas externas aumente sus resultados en 16 puntos por comenzar a utilizarlas.

En la práctica basada en evidencias se considera que la mejor fuente de información son los estudios experimentales, en los que los resultados del grupo que recibe una intervención o medida son comparados con los de otro grupo que no recibe ninguna medida, o recibe una intervención alternativa, con la condición de que los participantes en esos grupos se hayan distribuido al azar. Los estándares más rigurosos pedirán también que se compruebe que la intervención se aplique con fidelidad, y que los aplicadores, los participantes y los que evalúan las mejoras desconozcan si están en el grupo experimental o en el grupo de control (eso es más fácil en medicina que en educación). El borrador de la LOMCE no hace referencia a ninguna investigación de este tipo.

Conclusión

Después de lo visto considero que la LOMCE se adjudica a sí misma, bastante a la ligera, la etiqueta de reforma basada en evidencias, por los siguientes motivos: no hay nada que indique que se haya hecho una búsqueda sistemática de evidencias. Si se ha hecho y no nos lo han contado no podemos replicar la selección de evidencias de la LOMCE porque no ha sido pública. Ni siquiera sabemos cómo han llegado a seleccionar unos resultados de las evaluaciones internacionales que se citan y no otros. No se aportan evidencias de estudios experimentales, sino que la mayor parte de las referencias son menciones a estudios internacionales en los que se compara, entre países, el rendimiento en pruebas (normalmente de comprensión lectora, matemáticas y conocimientos científicos) y se asocia ese rendimiento con variables del alumno, del entorno escolar y familiares.

Deja un comentario

Archivado bajo Misión-visión-valores, Niveles de evidencia

El círculo virtuoso de Snowling y Hulme

Un círculo vicioso es una serie de acciones o hechos encadenados en la que la uno conduce a otro de modo que se repiten una y otra vez. Hay, por ejemplo un círculo vicioso en los problemas de lectura: el niño que tiene dificultades para leer no obtiene muchas cosas buenas de la lectura (no entiende bien los textos y se le llama la atención). Eso hace que pierda interés por leer. Como no tiene interés lee menos, y al leer menos su lectura no mejora mucho porque no hay suficiente práctica, de modo que sigue leyendo mal y vuelta a empezar.

Margaret Snowling (de su web en la Universidad de York)

¿Qué es un círculo virtuoso? Más o menos lo mismo, con el matiz de que en el círculo virtuoso la repetición de las actividades produce beneficios. El círculo virtuoso que proponen Margaret Snowling y Charles Hulme tiene que ver con la lectura, concretamente con la relación entre teoría y práctica. Estos investigadores de la Universidad de York han publicado recientemente un artículo titulado Evidence-based interventions for reading and language difficulties: creating a virtuous circle.

Se trata de un artículo teórico en el que comentan lo que se conoce en la actualidad acerca de la naturaleza, las causas, y los tratamientos de las dificultades de lectura infantiles. Un concepto fundamental de su exposición es el de “intervención bien fundamentada”. Para que una intervención se considere bien fundamentada debe basarse en una teoría sólida (mejor si se trata de modelos causales) que indique cómo se desarrolla una habilidad y qué se puede hacer para mejorarla en un niño que tenga dificultades para adquirirla. Pero la cosa no se para ahí. Antes de recomendar que una intervención se aplique en las escuelas es necesario que esté respaldada por la evidencia de estudios sobre su eficacia. La secuencia que proponen es que, en primer lugar, se realicen ensayos clínicos controlados y aleatorizados (diseños con grupos de control en los que los niños se asignan al azar a los grupos experimentales y de control y, preferentemente, en los que ni los alumnos ni las personas que valoran las posibles mejoras saben si un niño concreto está en el grupo experimental o no). Una vez que uno o mejor varios ensayos clínicos muestran que una intervención es eficaz se pueden comenzar a aplicar, y sería deseable que se hicieran otros estudios de seguimiento que evalúen cómo funciona la intervención en la realidad, a gran escala, en ambientes menos controlados.

Charles Hulme (de su web en la Universidad de York)

El círculo se cierra cuando la información acerca del funcionamiento real de la intervención llega a al primer punto y permite modificar y refinar la teoría que dio lugar a las recomendaciones que inspiró los ensayos que fundamentaron la intervención escolar. Así se formaría un ciclo de mejora continua.

Una buena parte del artículo se dedica a comentar este enfoque con respecto a las dificultades de aprendizaje de la lectura, pero también se habla acerca de la comprensión lectora. Según los autores, dejando de lado los problemas de comprensión ocasionados por dificultades en la descodificación, hay hipótesis sobre el origen de la mala comprensión lectora. La primera es que los problemas de comprensión se pueden remontar a dificultades anteriores con el lenguaje oral. La segunda hipótesis es que se deben a debilidades en el uso de las estrategias metacognitivas y de inferencia.

La mayor parte de la investigación sobre mejora de la comprensión lectora se ha centrado en la enseñanza de estrategias metacognitivas, pero existen razones para considerar que una intervención centrada en la mejora del lenguaje oral podría producir resultados más duraderos. Esa intervención en el lenguaje oral podría incluir actividades relacionadas con el vocabulario, el lenguaje figurado y la narración oral. Resulta interesante pensar que estas habilidades se pueden trabajar desde educación infantil.

En resumen, una mejora a gran escala de la comprensión lectora tendría los siguientes pasos:

  1. Disponer de modelos sobre la comprensión lectora y sus causas, o sus antecedentes.
  2. Diseñar programas de mejora basados en esos modelos.
  3. Comprobar la eficacia de los programas de mejora mediante estudios controlados y aleatorizados.
  4. Difundir el uso de los programas que hayan obtenido resultados positivos.
  5. Supervisar la eficacia de los programas en la práctica real.
  6. Controlar la existencia de grupos de alumnado que no obtengan mejoras con los programas (alumnos resistentes a la intervención).
  7. Utilizar los datos extraídos de los estudios y la supervisión para mejorar los modelos de comprensión lectora.

La propuesta de Snowling y Hulme es muy interesante, pero creo que necesita mayor desarrollo para poderse aplicar. Por una parte es necesario establecer el “quién”. En algunos casos resulta fácil: es muy probable que los modelos los construyan los investigadores o científicos y que el uso real de los programas corresponda al profesorado. Parece sensato pensar que los ensayos clínicos corresponderán a los investigadores, pero hay bastantes dificultades prácticas para realizarlos.

Normalmente los investigadores no tienen acceso directo al alumnado. Pueden trabajar con voluntarios que acudan a los centros de investigación, pero entonces se está valorando una muestra sesgada. Realizar una investigación en un colegio supone un esfuerzo extra en la gestión de permisos, sobre todo de las familias de los alumnos, y la organización escolar por aulas, con un horario poco flexible, encaja muy mal con la asignación al azar de los alumnos a los distintos tratamientos.

Otro punto en el que se puede romper el ciclo es la difusión de los resultados, ya que la difusión en medios especializados tiene poca incidencia en las decisiones de las administraciones educativas y del profesorado. Una forma radical de mejorar esto es al estilo de Estados Unidos, con el acta No Child Left Behind, que destina los fondos federales a programas escolares basados en la investigación científica, algo que obliga a los colegios a buscar esa información y a la administración a facilitarla.

La supervisión de los programas podría ser relativamente sencilla, ya que en los colegios se recoge una cantidad inmensa de información sobre el rendimiento de los alumnos. El problema es que hace falta alguien que seleccione y analice la información pertinente.

Por último, el uso de los datos para mejorar los modelos es algo común en el caso de investigaciones controladas, pero no suele ser habitual utilizar datos escolares para contrastar modelos psicolingüísticos.

Deja un comentario

Archivado bajo Misión-visión-valores, Uncategorized

CLBE en la Red de Buenas Prácticas 2.0

La Red de Buenas Prácticas 2.0 está gestionada por el Instituto de Tecnologías Educativas, del Ministerio de Educación. Esta red tiene distintas funciones como impulsar el uso de las tecnologías de la información y la comunicación, y difundir experiencias y proyectos innovadores.

Logo de Buenas Prácticas 2.0

Hoy la página web de la red publica una reseña de este blog, Comprensión Lectora Basada en Evidencias, en su apartado de difusión de prácticas innovadoras. Para mí es un orgullo recibir el respaldo de esta institución y ojalá sirva para que la información que contiene el blog pueda llegar a más gente.

2 comentarios

Archivado bajo Misión-visión-valores

Primer año del blog

Se cumple el primer año de este blog sobre el estudio científico de la mejora de la comprensión lectora.

(Imagen libre de derechos)

A lo largo de este tiempo he publicado 54 entradas sobre métodos de mejora y sobre la forma de llevar a cabo una revisión sistemática sobre la comprensión, una página con referencias bibliográficas, otra sobre metodos informáticos para la meora de la comprensión y otra de tests estandarizados para evaluarla. Además también hay una colección de enlaces a sitios de referencia sobre el estudio de la comprensión lectora.

Al blog han accedido más de 3.200 personas, casi siempre por búsquedas en google.  La mayoría de los usuarios buscan una información concreta. Algunos aprovechan para mirar qué otras cosas hay en el blog. Muy pocos son los que comentan y, por el momento, sólo hay un suscriptor (saludos).

Como no he incorporado ninguna herramienta de estadísticas al blog no sé cuáles son las entradas más consultadas ni los temás que más interés suscitan. A ojo diría que hay mucha gente que busca información sobre el tamaño del efecto y la d de Cohen, sobre tesis doctorales relacionadas con la comprensión lectora, sobre algunos métodos de mejora como el trabajo cooperativo o la lectura dialógica, y sobre programas informáticos para trabajar la comprensión. En el último mes están empezando a acceder bastantes personas que buscan información sobre tests de comprensión lectora.

Por lo que sé, el blog solo tiene un enlace en Maestroteca.  En su momento envié información a sitios como Leer.es o Buenas Prácticas 2.0, pero no he suscitado interés (ni respuesta, ni acuse de recibo).

[Actualización el 11 de diciembre de 2011 recibí, con alegría, un correo electrónico de la red de Buenas Prácticas 2.0 interesándose en el blog para su difusión] 

Este año me gustaría conseguir que aumentase la participación en el blog, sobre todo en forma de comentarios de calidad, que aporten información, y sugerencias. También, pretendo que algunas páginas de internet relacionadas con la educación o la lectura incluyan un enlace al blog.

Pero el objetivo fundamental será seguir ofreciendo información acerca de la eficacia de los distintos métodos de mejora de la comprensión lectora.  Sigo trabajando en eso.

Deja un comentario

Archivado bajo Misión-visión-valores

Hacia una innovación basada en la evidencia

El curso pasado presenté un proyecto sobre detección temprana e intervención en dificultades de aprendizaje de la lectura a una convocatoria de proyectos de innovación del departamento de educación del gobierno de Navarra. El proyecto no fue seleccionado. Los criterios de valoración y las puntuaciones de los proyectos eran públicas así que fue fácil comprobar que había otros que lo merecían más. Pero algo me llamó la atención en los criterios de valoración que eran:

· Justificación de la propuesta: contenido innovador y aportación de nuevas posibilidades educativas (10 puntos).
· La calidad del plan establecido -objetivos, contenidos, metodología- (10 puntos).
· Adecuación a las áreas prioritarias de la convocatoria (5 puntos).
· Originalidad del proyecto (10 puntos).
· Enfoque basado en el desarrollo de las competencias básicas (10 puntos).
· Utilización de las TIC en el desarrollo del proyecto (5 puntos).
· Equipo docente implicado y carácter interdisciplinar (5 puntos).
· Viabilidad para el trabajo en el aula (10 puntos).
· Interés para su generalización (10 puntos).
· Participación de la comunidad educativa (5 puntos).

Lo primero que me llama la atención es que al justificar la propuesta se valore el que tenga un contenido innovador, y que aporte nuevas posibilidades educativas. Los dos criterios son interesantes, pero también sería interesante que al justificar un proyecto se expusieran su fundamentación: qué nos hace creer que va a ser útil. Para contrastar traduzco aquí un comentario del gobierno de Estados Unidos sobre la ley No Child Left Behind:

Durante muchos años, muchas escuelas han experimentado con programas y materiales que han mostrado ser ineficaces (a expensa de sus alumnos). Con “No Child Left Behind” la ayuda federal se dirige a aquellos programas educativos que han mostrado ser eficaces a través de un estudio científico riguroso. “Reading First” es uno de esos programas. Los programas y las prácticas basadas en la investigación científica no son modas ni ideas sin contrastar; han provado tener un historial de éxitos. Financiando esos programas “No Child Left Behin”  fomenta su uso, en oposición al uso de programas sin contrastar que puedan convertirse en meras modas.

En todo esto hay una cuestión de lógica. Un colegio no puede adoptar un programa basado en evidencias si no hay previamente uno o varios colegios donde se ha investigado su eficacia. Según este planteamiento, una convocatoria como la que presentaba al principio de esta entrada podría ser una buena oportunidad para realizar esa investigación. Aquí viene mi segunda extrañeza. Al hablar de la calidad del plan establecido se mencionan los objetivos, los contenidos y la metodología (“el método” hubiera sido más correcto). ¿Dónde queda la evaluación? No se concede ni un solo punto por haber previsto cómo evaluar la eficacia del proyecto.

No es un olvido completo. Los grupos seleccionados tienen que presentar una memoria. Pero eso suena a una forma de trabajo que ya se ha empleado anteriormente en este departamento de educación: divulgaremos ese material en unas jornadas, en un libro o en un cd-rom. No está mal, porque lo que nos presenten tendrá un cierto nivel de evidencia: estará respaldado por profesionales del campo que lo consideran útil. El problema es que se trata del nivel más bajo en la escala de niveles de evidencia. Se podría hacer mejor.

La tercera cosa que me llamó la atención es que se puntuase por separado el uso de las TIC, que ya puede estar incluido en el contenido innovador, en la originalidad o en la orientación a las competencias básicas (hay una competencia digital). Sobrevalorar el uso de las TIC puede producir el efecto perverso de emplearlas para tareas en las que sería más económico o más eficaz usar otros métodos.

En fin, mientras que en el mundo tecnológico se ha pasado del I+D (investigación – desarrollo) al I+D+I (investigación – desarrollo – innovación), en educación parecemos haber pasado del D, al D+I, tratando de mantenernos al margen de la investigación, y desarrollando e innovando basandonos en ¿qué?

Deja un comentario

Archivado bajo Misión-visión-valores

Presentación

El blog Comprensión lectora basada en evidencias ha sido creado por Juan Cruz Ripoll, psicopedagogo y orientador en el colegio Santa María la Real de Sarriguren (Navarra).

MISIÓN
Divulgar información sobre comprensión lectora basada en la investigación y útil para desarrollar intervenciones de mejora.

VISIÓN
Sólo resultan creíbles los programas de mejora de la comprensión lectora que describen las evidencias en que  se basan.

VALORES
Objetividad científica,  colaboración.

Deja un comentario

Archivado bajo Misión-visión-valores