Archivo de la etiqueta: Software

MAVIS, una aplicación para meta-análisis

Advierto desde el principio que esta entrada no trata sobre lectura ni sobre comprensión. Simplemente, escribo para compartir una herramienta que me ha resultado útil y que quizá pueda servir a otros.

El meta-análisis es un conjunto de cálculos que se utilizan para combinar los resultados de distintas investigaciones sobre un tema. Es decir, se trata de una herramienta útil para revisar y sintetizar, por ejemplo, la eficacia de un método o la relación entre dos variables, cuando se han realizado distintos estudios que ofrecen resultados diversos.

Hace tiempo ya escribí sobre algunos programas para realizar meta-análisis y, recientemente, he utilizado uno sencillo pero con bastantes funcionalidades. Este programa es MAVIS (Meta-analysis via Shiny).

R es un lenguaje y entorno de programación para estadística muy flexible. Existen varias aplicaciones para realizar meta-análisis en R, pero R es un entorno para especialistas bastante difícil de utilizar para gente sin formación.

Por otra parte, Shiny es una librería que permite el desarrollo de aplicaciones web con lenguaje R y MAVIS es una web que hace funcionar algunas aplicaciones de R para meta-análisis de una forma bastante fácil, en la que solo es necesario pegar los datos y seleccionar los parámetros en distintos menús.

MAVIS realiza meta-análisis según los modelos de efectos fijos y aleatorios, trabaja con la d de Cohen, con el coeficiente de correlación y con modelos dicotómicos, cuenta con distintas formas de estimar la heterogeneidad y realiza análisis de moderadores

Entre los resultados que ofrece están: el tamaño del efecto combinado, distintos indicadores de heterogeneidad y algunos cálculos sobre el riesgo de sesgo de publicación. Proporciona un diagrama de bosque con los tamaños del efecto y un diagrama de embudo.

Además, cuenta con una herramienta con distintas medidas para valorar el acuerdo entre distintos codificadores.

W. Kyle Hamilton

Distintas personas han intervenido en el desarrollo de esta herramienta, pero su versión actual se debe, fundamentalmente, a Kyle Hamilton, que actualmente es un alumno de doctorado de la universidad de California Merced. Además de MAVIS, ha desarrollado otras aplicaciones web para análisis de variables latentes, análisis de ítems de tests o análisis de TRI

Anuncios

2 comentarios

Archivado bajo Herramientas para evaluación / investigación, Software para revisiones sistemáticas

Vídeojuego para trabajar la comprensión: Maximum Consecuentia

Maximum Consecuentia es un videojuego online producido por Adela de Castro con la intención de trabajar la comprensión lectora. Está desarrollado en lenguaje Flash y ambientado en una especie de castillo encantado que el protagonista tiene que recorrer evitando trampas y respondiendo a preguntas para poder abrir puertas.

mc1

El juego

El juego tiene una estética tenebrosa no realista. El personaje recorre las estancias del castillo evitando algunos peligros y debe abrir puertas para pasar de unas a otras. Para abrir una puerta es necesario localizar tres objetos que contienen una pregunta. Las preguntas son de elección múltiple y pueden resultar difíciles para un adulto. En el rato en que he estado jugando ha tenido que responder a preguntas como

  • El mensaje o sentido de un cuadro de Brueghel (que no conseguí acertar ni en tres intentos).
  • A qué se refiere Breda en el cuadro de La rendición de Breda.
  • Averiguar el significado de palabras (pillar, chupa, pasta) en un texto escrito en una jerga juvenil.
  • Buscar en el apelativo por el que se conocía a una persona, de la que se indica el nombre.
  • Buscar una definición de demencia.
  • Averiguar el significado de palabras como “jerigonza” o “marisabidilla”.

mc2

Es decir, a pesar del aspecto del juego, no está destinado a niños: los temas que tratan las preguntas son más propios de la educación secundaria o superior. Eso sí, podría tener utilidad como actividad de enriquecimiento.

Como juego tiene algunas cosas mejorables: los movimientos del personaje son poco reales, las partidas no se pueden guardar y cada vez que se juega hay que empezar desde el principio, aunque las preguntas que se responden en cada nueva partida pueden ser diferentes (la base de datos del juego tiene 150). Hay algunos errores de programación y a veces se bloquea.

Estudio

La autora ha publicado, en la revista Innovación Educativa, un artículo con una evaluación del juego. El juego fue utilizado por 78 estudiantes universitarios de ingeniería y educación infantil. Estos alumnos realizaron una encuesta sobre el juego y, además, se analizaron los resultados de sus exámenes antes y después del uso del programa y de una prueba de comprensión lectora realizada a final de curso. Los resultados son positivos, aunque, como se puede ver, el método seguido para valorar la eficacia del programa es poco riguroso.

 

 

 

 

 

La comprobación

Deja un comentario

Archivado bajo Programas informáticos

Herramientas para medir la dificultad de los textos

En Hispanoamérica tenemos muy poca tradición de medir la dificultad de los textos. Las editoriales o las bibliotecas sí que suelen hacer una propuesta de lecturas por edad. Al decidir si un libro es más adecuado para lectores con 6 o con 9 años, se consideran cuestiones como la extensión, las ilustraciones, el tamaño de la letra, o el tema que trate.

Sin duda, una persona con suficiente experiencia puede intuir con acierto qué libro puede ser asequible para niños de una edad o, si lo conoce bien, para un lector concreto. La cosa se complica si queremos elegir textos más fáciles o difíciles dentro de un mismo nivel ya que no todos los libros recomendados para niños de 8 años tienen la misma dificultad.

Se me ocurren tres situaciones en las que puede ser relevante conocer de forma precisa la dificultad de los textos:

  1. Evaluación: por ejemplo, queremos saber si los alumnos de una clase de 5º tienen un nivel adecuado de comprensión lectora. Para eso preparamos una prueba en la que leen un texto, obtenido de un libro de texto 5º y responden a unas preguntas. Sin entrar en la dificultad de las preguntas, resulta que entre los libros de texto de 5º encontraremos desde pasajes sencillos hasta pasajes muy difíciles de leer. Elegir uno u otro influirá bastante en la conclusión que obtengamos sobre su nivel de lectura.
  2. Adecuación: cuando los alumnos tienen que estudiar o consultar en un libro nos podemos encontrar con el caso de alumnos que no comprenden el texto. Estos alumnos necesitarían una ayuda para entenderlo, o trabajar con un texto más sencillo. Si optamos por la segunda vía, necesitamos alguna forma de asegurarnos de que el texto es comprensible para el alumno, pero no tan fácil como para que no progrese trabajando con él.
  3. Investigación: muchas veces necesitamos textos con una dificultad equivalente para poder comparar intervenciones o para medir el progreso de los alumnos en la lectura.

Curiosamente, informándome sobre este tema, he encontrado una cuarta razón que no tiene que ver con la educación sino con la medicina. Los documentos de consentimiento informado deben ser redactados de forma que puedan ser fácilmente comprendidos, de modo que es necesario medir si son comprensibles o no.

Algunas herramientas

No me voy a detener en explicar cómo funciona cada una de ellas, ya que la entrada se volvería bastante larga y compleja.

Para textos en español

  • Gallito API: es una herramienta basada en análisis semántico latente, que ofrece numerosas informaciones sobre los textos. Se trata de un producto comercial de la empresa Semantia Lab, vinculada a la UNED. Los resultados que ofrece son más difíciles de interpretar que los de las otras herramientas basadas en indicadores más tradicionales.
  • INFLESZ: se trata de un programa gratuito que calcula la dificultad de los textos mediante la fórmula de perspicuidad de Flesch-Szigriszt y mediante la fórmula de lecturabilidad de Fernández-Huerta. Desafortunadamente, mientras escribía esta entrada, la web que alojaba el programa ha dejado de funcionar. Actualmente estoy utilizando esta ya que ofrece referencias a partir de textos escritos en español.
  • Word: algunas versiones de Microsoft Word ofrecen la posibilidad de calcular la legibilidad de un documento mediante las fórmulas de Flesch y Flesch-Kincaid.
Inflesz
Captura de pantalla de INFLESZ

Otra alternativa pueden ser las rúbricas de evaluación, en las que se juzgan distintos parámetros del texto. A diferencia de lo que sucede con las tres anteriores, en este caso, la medición no es automática. Tenemos un ejemplo en esta evaluación de la legibilidad de Felipe Alliende.

Para textos en inglés

  • Readability-Score: una herramienta en línea para medir la dificultad de los textos mediante el índice de Flesch-Kincaid. También informa sobre el curso para el que estaría destinado el texto según diferentes sistemas.
  • Readability Formulas: otra herramienta en línea para medir la dificultad de los textos según diferentes fórmulas. Es, también, una buena fuente de información para conocer cómo se calculan distintos índices de legibilidad.
  • Medidas Lexile: se trata de una marca registrada por la empresa Metametrics. Se pueden utilizar para medir la habilidad de los lectores y para medir la dificultad de los textos. Se puede consultar el nivel de dificultad de numerosos libros (en inglés) o analizar un texto en concreto. Registrándose se pueden analizar textos con menos de 1000 palabras. Para mayor extensión es necesario utilizar la versión profesional. Metametrics ofrece la versión profesional de forma gratuita a los educadores.
  • Reading Maturity Metric: otra marca registrada, esta vez por la editorial Pearson. Requiere registro.

 

 

4 comentarios

Archivado bajo Herramientas para evaluación / investigación, Lectura fácil

Eficacia de Progrentis / SAS

Hace poco un responsable de Progrentis, sugirió en el blog que sería oportuno incluir este programa en la página de software para mejorar la comprensión lectora. Este programa ya había sido comentado anteriormente en el blog.

Lógicamente, dado el espíritu que tiene el blog invité a la empresa a que aportase las evidencias que respaldan la eficacia del programa y me enviaron varios enlaces y documentos. Buena parte de este material está formado por información o testimonios, pero hay algunos documentos en los que se analizan datos, que son los que a mí me interesan.

Resultados

Progrentis calcula sus mejoras mediante un indicador que es el PEM, número de palabras leídas por minuto multiplicado por el porcentaje de comprensión (me imagino que el segundo factor es el porcentaje de las preguntas correctamente respondidas). Los resultados que la empresa ha ido recogiendo de usuarios entre 10 y 18 años indican que el PEM mejora notablemente tras la realización del programa. Este resultado ha convencido a varios colegios para incorporar Progrentis a su oferta educativa, pero hay que tener en cuenta que:

  1. No se comparan las mejoras con las obtenidas en el mismo periodo de tiempo por otras personas con características similares.
  2. Se desconoce la fiabilidad y la validez de las pruebas de evaluación con las que se han obtenido esos resultados. Por ejemplo, si da la casualidad de que el texto con el que se evalúan las mejoras al final de la intervención es más sencillo o trata sobre un tema más familiar que el que se utiliza para evaluar las mejoras antes de la intervención, probablemente los resultados mejorarán aunque no se haya hecho la intervención.

Foto perteneciente al colegio Escuelas Pías de Tenerife

También me han facilitado una tesis de postgrado en la que se valora el uso de progrentis (denominado SAS en ese caso) en estudiantes de primer año de medicina. Esta investigación se realizó con los 99 estudiantes de primer curso de medicina de una universidad. Tras la realización del programa se puede observar que los resultados en comprensión de los alumnos que habían utilizado progrentis eran mejores que los del grupo que no lo había utilizado, pero falta un dato importante y es cómo eran los resultados antes de comenzar el programa. Fueron 29 estudiantes los que utilizaron Progrentis, y 70 los que no y no se explica cómo se eligieron unos y otros, sí se nos da el dato de que todos los estudiantes que repetían curso (10% del total) estaban en el grupo que no recibió el programa, y además eran los que obtenían los peores resultados. Por tanto, estos datos deben tomarse con mucha prudencia.

Buscando otras fuentes he encontrado otra investigación: una tesis de grado defendida por Normal Oralia García y titulada Incidencia del método SAS en el nivel de comprensión lectora de los alumnos de 5º de bachillerato del colegio Capouilliez. En este estudio participaron 37 alumnos y sí que se hizo una evaluación de la comprensión antes de comenzar la intervención. En ese momento no había una diferencia significativa entre el grupo experimental y el grupo de control y tras la intervención con Progrentis seguía sin haber una diferencia significativa entre ambos grupos.

Conclusiones

En primer lugar, es escasísima la investigación que sustenta el método Progrentis / SAS. El estudio de mayor calidad que se ha realizado hasta la fecha, con un diseño cuasi-experimental, indica que los resultados obtenidos no son significativos. El resto de evidencias muestra que las personas que utilizan progrentis obtienen un tiempo después mejores resultados de comprensión, pero no permiten afirmar que esas mejoras sean a causa del uso de progrentis: la única investigación que midió el progreso de un grupo de control indica que los que no utilizaban Progrentis también obtenían mejores resultados un tiempo después (simplemente el hecho de repetir la prueba de lectura puede causar este efecto). El otro estudio, realizado con grupo de control y experimental que probablemente no son equivalentes, evaluó la eficacia del programa en estudiantes de medicina, una población distinta al alumnado de Primaria con el que se está empleando en varios colegios que utilizan Progrentis.

Ya que los responsables del programa tienen interés por fundamentar su eficacia les recomendaría la realización de estudios independientes (realizados por personas no vinculadas con el programa), con pruebas de comprensión estandarizadas en lugar de con las propias pruebas del programa o basándose en la satisfacción de los clientes, y grupos de control que sigan otras intervenciones para la mejora de la comprensión.

Nota final

Se puede consultar información sobre éste y otros programas informáticos para el trabajo de la comprensión lectora en la página software para la mejora de la comprensión lectora de este blog.

 

Deja un comentario

Archivado bajo Intervenciones que no han mostrado eficacia, Programas informáticos

Programa PilMQ

Hacía tiempo que no publicaba nada sobre programas informáticos para trabajar la comprensión lectora en español, una de las especialidades de este blog, así que me puse a buscar qué podía existir que no conociera y mereciera la pena comentar, y así encontré la web de PilMQ, que es el programa informático de lectura de Manuel Quintero.

Tratándose de un programa en el que se destaca el nombre del autor, merece la pena saber algo sobre Manuel Quintero. Además de los datos sobre su formación y actividad profesional, la base de datos DIALNET recoge un escrito suyo y de Joaquín Mora, titulado Programa de lectura MQ para superar dificultades, mejorar el nivel lector y aumentar la eficacia (educación primaria y 1º y 2º de E.S.O.). Esta publicación corresponde a un taller que realizaron en el congreso de FEPAL 2003.

Evidencias que sustentan el programa

José Manuel Trigo, catedrático de Didáctica de la Lengua en la Universidad de Sevilla, presenta el programa diciendo que es una herramienta de probada eficacia, y que “es muy probable que sea el único, de los existentes en el mercado, que incide de manera simultánea y eficiente en el proceso de Enseñanza-Aprendizaje de los dos componentes básicos de la eficacia lectora ( la fluidez y la comprensión ), fundamental para aproximarnos al concepto de competencia lectora”. Parece exagerado considerar que una programa educativo es de “probada eficacia” en un caso como éste, en el que en los medios científicos no se han publicado investigaciones en las que se hayan comprobado sus resultados.

Pero sí que se han realizado estudios sobre el efecto del programa, que aparecen descritos en la guía del programa. Además de las observación anecdótica, se han comparado las mejoras obtenidas por alumnos que han seguido el programa con las de otros alumnos que no lo realizaban. Aunque los grupos eran equivalentes antes de la experiencia, al finalizarla, los que habían seguido el PILMQ superaban a sus compañeros en velocidad y comprensión lectora.

El programa

La web ofrece la posibilidad de solicitar una versión de evaluación, pero tras pedirla y esperar bastantes días no he tenido ninguna respuesta. Por tanto, la información que pongo aquí está extraída de la documentación que he obtenido en la web del programa. El PilMQ trabaja con tres tipos de presentaciones. La primera son las palabras sueltas, distribuidas en tres o cuatro columnas, y organizadas de forma que los alumnos más pequeños trabajen con las palabras más cortas y la longitud se vaya aumentando para los alumnos mayores. El segundo tipo de presentación son frases o párrafos escritos en columnas, casi siempre en tres. El tercer tipo son los textos, escritos sin utilizar columnas.

Hay actividades para trabajar la precisión en la lectura y para aumentar progresivamente la velocidad realizando lecturas repetidas. Además, los alumnos contestan a preguntas de vocabulario y comprensión eligiendo la respuesta correcta entre varias alternativas. A partir de 3º de primaria las preguntas de comprensión son tanto de localización de información literal como inferenciales. Además se incluyen actividades como completar palabras o frases, ordenar letras para formar palabras, separar las palabras de una frase o escribir la palabra definida en una frase.

 

 

Deja un comentario

Archivado bajo Actividades de comprensión, Métodos de mejora, Programas informáticos