Archivo de la etiqueta: Método de investigación

Juzgar la calidad de una investigación: introducción

Tome como ejemplo este artículo. Se titula “La comprensión lectora de profesores de la enseñanza primaria“. Está publicado en la Revista Electrónica Interuniversitaria de Formación del Profesorado.  El contenido es alarmante. Ya en el resumen dice lo siguiente:

Los resultados demostraron que el nivel de comprensión lectora del profesor, tal y como se configuró en la investigación, está muy por debajo del esperado.

Una investigación que demuestra que el nivel de comprensión lectora de los profesores de Primaria es bajo. ¿Se imagina la que se puede montar? Acusaciones a las universidades por el mal nivel con que se preparan los profesores, el Ministerio de Educación encuentra una explicación para los malos resultados en las evaluaciones de competencia lectora,…

La Revista Electrónica Interuniversitaria de Formación del Profesorado es  una publicación que selecciona sus artículos mediante el sistema de revisión por pares: el consejo de redacción elige los trabajos a publicar solo entre aquellos que han tenido el visto bueno de por lo menos dos de los tres evaluadores externos que los revisan, que valoran su altura intelectual, el rigor metodológico, la coherencia interna, su interés, originalidad, claridad y calidad literaria.

Es decir, la investigación realizada tiene cierta garantía de estár correctamente planteada, desarrollada y contada. ¿Entonces es cierto lo que dice? Veamos algunos detalles de cómo se llegó a esa conclusión:

¿Es cierto que los profesores de Primaria tienen un bajo nivel de comprensión? 

Los resultados se obtuvieron con tres profesoras de Brasilia. Una de ellas había terminado la carrera de magisterio y un curso de especialización, las otras habían cursado Bachillerato y aún estaban haciendo la carrera. No sabemos por qué motivo se eligió a esas tres maestras y no a otras.

Para valorar su comprensión se utilizó un texto y 13 preguntas abiertas. Desconocemos cuál era el texto, su extensión y su tema, así como el contenido de las preguntas, aunque se puede deducir que estaban relacionadas con el reconocimiento de las ideas más importantes, la organización del texto y la construcción de inferencias.

Sabemos que la profesora 1 (la que había acabado la carrera) tuvo 18 aciertos. ¿No eran 13 preguntas? Tal vez se trate de 18 puntos, ya que en la prueba realizada se podían conseguir hasta 30 puntos, claro que si con 13 respuestas acertadas se consiguen 30 puntos no todas las preguntas valen lo mismo. Hubiera sido interesante que se explicasen los criterios de puntuación. La profesora 2 tuvo 5 puntos, y la profesora 3 tuvo 13.

Las conclusiones que se obtiene de todo esto ya se han adelantado

Este trabajo demostró que el nivel de comprensión lectora del profesor, tal y como se configuró en la investigación, está muy por debajo del esperado. Pudimos observar que las tres presentaban niveles diferentes de comprensión lectora. La baja ejecución que realizó el profesor P2 nos revela los graves problemas que la educación tiene que vencer todavía en la formación del profesorado.

Si se lee el artículo con una actitud crítica se pueden encontrar motivos para dudar de estas conclusiones. En primer lugar, el tamaño de la muestra es tan pequeño que no puede considerarse una muestra representativa de las profesoras de Brasilia. Desconozco cuantas profesoras de Primaria hay en Brasilia. Supongamos que son 100. En este documento de Pedro Morales titulado tamaño necesario de la muestra se puede ver que si queremos tener un nivel de confianza del 95% (el utilizado en muchos estudios de psicología o pedagogía), para una población de 100 personas tendríamos que evaluar a 80. Si fuesen 25 tendríamos que evaluar a 24. De modo que 3 profesoras forman una muestra no representativa. No solo eso, sino que pueden ser una muestra sesgada, ya que no sabemos cómo se seleccionaron. Para no ser injusto, debe decir que el estudio se presenta como estudio de caso único, pero al obtener conclusiones se generaliza y se trata de establecer cuál es el nivel de comprensión del profesorado de Primaria y cuáles son sus necesidades de formación a partir de los datos de esa pequeña muestra.

De Forges

Aprovechando que estoy con estas cuestiones de la muestra, voy a poner un ejemplo con datos concretos. En España, en el curso 2007/2008 había 1.829.874 alumnos matriculados en ESO. Si voy a hacer una investigación y quiero tener una muestra representativa, según las tablas de Morales necesitaré a 384 alumnos  para un nivel de confianza del 95% y 1066 para un nivel de confianza del 77%, alumnos que tendrían que estar seleccionados de forma aleatoria, es decir, que todos los alumnos de la ESO tengan las mismas probabilidades de ser seleccionados, para que no haya sesgos.

Pero no hace falta meterse en estos tecnicismos que yo mismo no acabo de entender. Dos de las tres profesoras no tenían una titulación universitaria de Magisterio, precisamente las dos que obtienen los resultados más bajos en comprensión lectora. No sé si en Brasil será diferente, pero donde yo escribo nadie consideraría que esas dos personas son en realidad profesoras (son estudiantes universitarias, aunque estén dando clase en colegios), de modo que resulta extraño obtener conclusiones sobre el nivel de lectura de los profesores a partir de personas que, en realidad, no son profesores.

Por último no sabemos cómo se evaluó a estas personas. Cualquier persona tendrá más dificultades para entender un texto sobre un tema con el que no esté familiarizado o con mucha complejidad. Es decir, si tuvieron dificultades para comprender la fábula de la liebre y la tortuga puede ser alarmante, pero si los bajos resultados se obtuvieron con preguntas sobre La Poética de Aristóteles podría pensarse que otros gremios también hubieran obtenido bajos resultados, porque es un texto difícil de comprender.

Volviendo a la pregunta que iniciaba esta sección sobre si es cierto que los profesores de Primaria tienen baja comprensión, podemos decir que aunque la autora del artículo afirme que sí, el método seguido para llegar a esa conclusión no es correcto.

¿Sirve todo esto para algo?

La mayor parte de la población no suele tener contacto con medios de comunicación especializados en psicología o pedagogía, como revistas o congresos científicos, pero recibe información a través de medios generalistas (prensa, radio, televisión, internet), que son (pido perdón a los “especializados”) más atractivos y fáciles de entender. En estos medios generalistas suelo encontrar con mucha frecuencia un género literario al que llamo “Una investigación de muestra que…”

Algunos ejemplos reales claros del género son: “una investigación demuestra que los monos pueden leer”, “una nueva investigación demuestra que el bilingüísmo mejora la velocidad lectora y la comprensión”, “una investigación demuestra que los juegos de rol mejoran la actitud de los estudiantes de Secundaria hacia la educación física”, “una investigación demuestra las ventajas de la educación en irlandés”,… Es muy habitual que en estos casos el entusiasmo del periodista por tener una noticia atractiva exagere los supuestos hallazgos. Cuidado, porque no siempre aparece el “una investigación demuestra que”, sino que a veces la cosa es más sutil como en Lo que más determina el éxito escolar son las expectativas académicas del propio alumnado, o en Bob Esponja pone en peligro la atención de los niños, casos que comenté anteriormente.

No digo que estas cosas no sean ciertas, aunque la de los monos me parece algo sospechosa y los juegos de rol no me produjeron los efectos que se describen, lo que digo es que antes de dar por supuesto lo que dicen esos titulares conviene revisar críticamente cómo se hizo esa investigación, ya que es raro que un estudio demuestre algo y será habitual que si se hacen nuevos estudios sobre el mismo tema se obtengan resultados distintos. Las variaciones pueden depender de cuestiones como el tamaño de la muestra, la forma de seleccionarla, cómo se evaluó la variable que se estaba estudiando,…

Se puede pensar que los investigadores son unos chapuceros que no se toman en serio su trabajo, pero es que la investigación perfecta no existe. Se puede mejorar la calidad y el control, pero no totalmente, de modo que lo más sensato es no pretender sacar grandes conclusiones de una investigación, sino de una línea de investigación.

El gráfico que aparece a continuación está tomado de mi tesis, y representa la relación que se encuentra en distintas investigaciones entre la comprensión del lenguaje y la comprensión lectora.

Imagine por un momento que encuentra la investigación representada en la parte inferior izquierda del gráfico: la relación entre comprensión oral y comprensión lectora es negativa. Otras investigaciones encuentran que es casi inexistente, y otras que es positiva. Pero hay una cosa curiosa: cuanto más arriba están los círculos (más muestra tienen los estudios) más se juntan los resultados. Los estudios de la parte inferior, con muestras muy pequeñas dan resultados muy variados, mientras que los de la parte superior, con muestras en torno a 600 alumnos tienden a juntarse, formando una especie de vértice superior de un triángulo. Otra cosa curiosa que muestra el gráfico es que la mayor parte de las investigaciones se realizaron con muestras pequeñas, y son pocas las que se hicieron con más de 200 alumnos.

Concluyendo, no basta con que una investigación obtenga unos resultados. Es conveniente ver si se han obtenido de una forma adecuada, y es conveniente ver si otras investigaciones sobre el mismo tema llegan a resultados parecidos.

Deja un comentario

Archivado bajo Curiosidades, Niveles de evidencia