Problemas de lectura: qué funciona en Educación Primaria

La Universidad Johns Hopkins, de Baltimore tiene un extenso recorrido en la revisión y síntesis de la investigación educativa. Hace años hacían un interesante trabajo de divulgación con Best Evidence Encyclopedia y actualmente con Evidence for ESSA. Este trabajo ha sido liderado por el recientemente fallecido Robert Slavin.

Desde allí se acaba de publicar una revisión sobre la eficacia de los programas para alumnado con dificultades de lectura en Educación Primaria. Esta revisión recoge 65 estudios sobre 51 programas distintos, en los que participaba alumnado con bajo rendimiento en lectura de Educación Primaria.

Las revisiones que realiza el Centro de Investigación y Reforma en Educación se caracterizan por ser muy exigentes en la selección de los estudios que incluyen. En esta revisión el 83% de los estudios incluidos eran experimentales: los grupos de control se habían formado al azar. Los restantes eran estudios cuasiexperimentales, con grupo de control, pero formado con otros criterios. Además se descartaron todos los estudios en los que se detectaran diferencias sustanciales (un efecto mayor que 0,25) entre el nivel del grupo experimental y el grupo de control antes de la intervención, aunque estas diferencias no fueran estadísticamente significativas.

No se aceptaron pruebas de evaluación de la lectura desarrolladas por los investigadores, sino que tenían que ser medidas independientes. Tampoco se aceptaron evaluaciones individuales realizadas por las personas que aplicaban el programa o estudios con menos de 30 participantes en el grupo experimental y el grupo de control y de dos aplicadores en cada uno de ellos. Los programas debían tener una duración mínima de 12 semanas y ser aplicados por el profesorado, auxiliares educativos o voluntarios; en ningún caso por personal del equipo de investigación. En el caso de intervenciones informáticas no se aceptaron estudios publicados antes de 2000.

Foto de César en Wikimedia Commons.

A continuación presento los resultados de las cuatro grandes categorías de intervención que distingue esta revisión:

1. Uso de sistemas de respuesta a la intervención en la escuela: 4 investigaciones, tamaño del efecto (TE) = 0,27. El resultado no es significativo por la pequeña cantidad de investigaciones.
2. Programas preventivos para toda la clase, o lo que en el modelo de respuesta a la intervención se llaman intervenciones de nivel 1: 5 investigaciones, TE = 0,31. Nuevamente, a pesar de ser uno de los efectos más grandes obtenidos, no es significativo por la pequeña cantidad de investigaciones.
3. Enseñanza adaptativa a través de recursos tecnológicos. Se trata de intervenciones en los que las actividades se realizan con soporte informático y su dificultad se ajusta automáticamente según el nivel de quien las realiza: 8 investigaciones, TE = 0,09. El resultado tampoco es significativo, aunque en este caso influye el escaso efecto que muestran las intervenciones.
4. Apoyo, al que en la revisión llaman «tutoring»: 48 investigaciones, TE = 0,26. Se trata de la única categoría en la que se produce un efecto significativo.

Los efectos del apoyo fueron significativos tanto si se aplicaban en pequeños grupos (23 investigaciones, TE = 0,24) como si se aplicaban de forma individual (25 investigaciones, TE = 0,41). La diferencia entre los resultados de estas dos formas de apoyo eran significativas. Los revisores hacen hincapié en otra diferencia: con el apoyo en pequeños grupos se atiende a más alumnado, pero no llega a haber una análisis de coste y beneficio.

Los resultados eran similares cuando los programas de apoyo eran aplicados por profesorado, auxiliares o voluntarios pagados (curioso concepto), pero el efecto es claramente menor en el caso de los voluntarios no pagados. No había diferencia significativa entre intervenciones que se aplicaban durante el tiempo escolar dedicado al trabajo de la lectura e intervenciones que se aplicaban en tiempo extra.

Anuncio publicitario

Intralíneas: una plataforma para trabajar la comprensión lectora

Intralíneas (www.intralineas.com) es una plataforma informática para trabajar la comprensión lectora. Básicamente, consiste en una selección de textos (actualmente hay algo más de 300). Estos textos van acompañados por preguntas y algunas anotaciones, pero el profesor tiene la posibilidad de modificarlas o añadir las suyas. Los alumnos, además de leer, pueden realizar tres operaciones: responder a las preguntas, hacer comentarios y señalar partes del texto (por ejemplo, palabras clave o ideas principales).

Implicación

Antes de continuar, quiero dejar claro que, a diferencia de lo que sucede con otras entadas del blog, tengo una implicación personal con Intralíneas. Por una parte, soy parte de la sociedad que está tras la plataforma y, por otra, he colaborado en su creación, sobre todo,  proponiendo y supervisando las preguntas que acompañan a los textos.

Los textos

La lecturoteca es la parte de la plataforma en la que se puede acceder a los textos. Hay noticias, textos divulgativos de distintos tipos (de ciencia y tecnología, sobre la naturaleza, geografía, medio ambiente, persona y sociedad, historia y arte), narrativos, de teatro y poesía. También hay una categoría de textos esenciales, que son textos de especial importancia y relacionados con los valores de nuestra cultura.

En la lecturoteca se pueden seleccionar textos según el tipo, curso al que se destinen o la asignatura que se quiera trabajar. La plataforma está destinada para alumnado desde 4º curso de primaria hasta Bachillerato. En algunos textos se ha redactado una versión más sencilla, de modo que se pueda elegir el texto original o el adaptado.

Captura de pantalla: parte de un texto

Las preguntas

Intralíneas cuenta con 10 tipos de preguntas que son:

1. Estructura.
2. Conocimiento literario.
3. Vocabulario.
4. Localización de información.
5. Inferencias.
6. Predicciones.
7. Paráfrasis.
8. Resumen.
9. Aplicación.
10. Reflexión.

Estas preguntas pueden tener distintas formas: elección múltiple con una alternativa, elección múltiple con varias alternativas, completar huecos, respuesta abierta, emparejar y ordenar. La corrección está automatizada, excepto en el caso de las preguntas de respuesta abierta, en las que se ofrece al profesor un criterio de qué considerar una respuesta correcta.

No todos los textos tienen todos los tipos de preguntas, pero se ha cuidado especialmente que haya una buena cantidad de preguntas de estructura, aplicación y reflexión que resultaban las más complejas de formular. Esta variedad de preguntas desarrolla bastante bien los tres grandes bloques de la evaluación PISA: localizar información, comprender y evaluar y reflexionar.

Herramientas del profesor

El profesor puede asignar lecturas a su clase, establecer una fecha límite, crear grupos dentro de la clase que reciban distintas lecturas, modificar o añadir preguntas, introducir anotaciones, contestar a las dudas o anotaciones de los alumnos, revisar sus respuestas y tener información sobre el rendimiento de cada alumno y de la clase, pudiendo compararlos con los de otros usuarios de la plataforma.

Pilotaje

Accediendo a la plataforma los textos y las preguntas. Los usuarios registrados ya pueden utilizar los textos, con sus anotaciones, resaltados, la correción automática y las herramientas del profesor. Actualmente, varios colegios españoles están probando la plataforma y aún podría incorporarse algún centro más a este pilotaje.

Calculando la kappa de Cohen con poco esfuerzo

Dos advertencias importantes:

1. Ésta no es una entrada sobre comprensión lectora sino sobre análisis estadístico. Leer su contenido puede producir daños cerebrales irreversibles.
2. Yo sé muy poco de estadística. Mi formación más avanzada consistió en un curso de introducción al análisis estadístico, así que no hay que tomarse muy en serio lo que digo porque puede haber errores de todo tipo.

Ahora paso a lo que voy a contar:

Una situación muy común en investigación educativa es que una persona, a la que llamamos el juez, tenga que valorar algo. Podemos poner como ejemplo una prueba de comprensión lectora con preguntas de respuesta libre en la que el alumno tiene 0 puntos si la respuesta es incorrecta, 1 punto si es correcta pero incompleta y 2 puntos si es correcta y completa. Eso lo tiene que valorar un juez. Pero, ¿sabemos si el juez es fiable? Una forma habitual de comprobarlo es que otro juez (o varios jueces) evalúen las mismas pruebas para ver si lo hacen igual. Después se analiza hasta qué punto son iguales o diferentes las valoraciones y así se mide la fiabilidad de los jueces.

Una forma muy sencilla de valorar la fiabilidad es contar las veces que los dos jueces están de acuerdo, las veces en que dan puntuaciones diferentes y obtener el porcentaje de acuerdo. Una crítica que suele hacerse a este sistema es que no tienen en cuenta las veces que los observadores se podrían poner de acuerdo por azar.

La kappa de Cohen tiene en cuenta el porcentaje de acuerdo entre los jueces, y también el porcentaje de acuerdo que obtendrían contestando al azar. Al final de la entrada dejo algunos enlaces donde se puede encontrar más información sobre esta medida, su uso, las fórmulas para calcularla, etc. Solo añadiré aquí que la kappa de Cohen se suele emplear para valorar la fiabilidad entre jueces que miden variables cualitativas (clasifican a los sujetos en grupos excluyentes) como el color, suspenso – suficiente – bien – notable – sobresaliente, existe – no existe…

Las calculadoras

Pero mi intención no es enseñar a usar la kappa de Cohen, sino advertir a las personas que necesiten calcularla que, además del cálculo a mano, o en una hoja de cálculo, existen varias calculadoras online muy útiles. Aquí dejo los enlaces a algunas de ellas:

· Kappa de Cohen para 2 jueces y 2 categorías (2*2), en español.

· Online kappa calculator. Aplicación java para calcular la kappa con dos o más jueces.

Y mi favorita que es la siguiente:

· ReCal2: reliability for 2 coders.

Ésta última tiene una versión para tres o más jueces, pero lo que más me gusta es que además de la kappa de Cohen calcula otras medidas. Todo lo que tienes que hacer es preparar una hoja de cálculo con dos columnas, cada una con los datos de un evaluador (sin que queden casillas vacías), guardarla en formato .csv y subirla a la web. La calculadora ofrecerá el porcentaje de acuerdo entre los evaluadores, la kappa de Cohen, la pi de Scott y la alfa de Krippendorff. Esas dos últimas medidas son muy similares a la kappa, y cuando lo he usado las diferencias entre unas y otras suelen ser de milésimas.

Información general

Dejo aquí algunos enlaces en los que se ofrece más información sobre esta medida, su utilidad, la forma de calcularla y orientaciones para interpretar sus valores:

Evaluación de la concordancia inter-observador en investigación pediátrica: coeficiente de kappa.

The kappa coefficient: a review.

Cohen’s kappa (wikipedia).

Nueva investigación sobre E-PELS

E-Pels (programa de entrenamiento en lectura significativa) es un programa informático para mejorar la comprensión lectora realizado por Virtualab, una empresa de tecnología educativa de la Universidad de Santiago de Chile. Me interesa especialmente porque en el blog trato de dar información actualizada sobre este tipo de programas, cuando son en español. De E-Pels ya había escrito anteriormente, y lo vuelvo a hacer al haberse publicado recientemente una investigación sobre la eficacia del programa.

El estudio se titula Instructional effectiveness of a computer-supported program for teaching reading comprehension strategies, y ha sido publicado en la revista Computers & Education. En esta investigación han utilizado una versión de E-Pels con un entorno gráfico más moderno que el que se empleó en el estudio que comenté anteriormente. E-Pels trabaja las siguientes áreas: nuevo vocabulario, subrayado, paráfrasis (contar lo que dice el párrafo con otras palabras), identificación del tipo de texto, identificación de la organización del texto y resumen.

El estudio y sus resultados

En el estudio participaron 939 alumnos de 4º de Primaria de 18 escuelas de la región central de Chile que fueron enseñados con E-Pels, y 102 alumnos de control que trabajaron la comprensión lectora de la forma habitual. Los avances fueron medidos utilizando dos formas del test CLP. El programa fue aplicado por los propios profesores de los alumnos, que recibieron una formación previa de 60 horas. Se realizó en 30 sesiones de 90 minutos (algunos colegios llegaron a 35) durante la primera mitad del curso.

Aspecto de E-Pels. De http://www.sciencedirect.com

Los alumnos que siguieron el programa E-Pels mejoraron más en los resultados de comprensión lectora que los que recibieron la intervención habitual, con un tamaño del efecto pequeño (d = 0,4). La mejora era más apreciable en los alumnos que empezaron el curso con resultados bajos en comprensión lectora que en los que comenzaron con resultados altos.

Comentario

Es difícil saber hasta qué punto los resultados se deben a la práctica con el programa informático, ya que también se facilitaron materiales de trabajo impresos, y se animó a los profesores a que los emplearan como tarea para casa de los alumnos, y algunas sesiones de práctica de las estrategias se realizaban en clase, en lugar de con los ordenadores.

Otra cuestión a tener en cuenta es que se produjo una notable atrición. A pesar del número de participantes (939 alumnos en el grupo E-Pels y 102 en el de control) los análisis se realizaron sobre 742 alumnos en el grupo E-Pels y 83 en el grupo de control. No obstante, la equiparación entre los grupos se realizó por medios estadísticos, ya que no eran equivalentes en sus niveles de comprensión lectora antes de comenzar la intervención, por lo que esta disminución en el número de participantes no afecta a los resultados.

Pero la parte que más me gustaría aclarar en este estudio es qué hizo el grupo de control, al que se describe como enseñanza tradicional, o actividades ya programadas en su currículo. El entrenamiento en estrategias de comprensión es una intervención robusta, y no es extraño que 45 horas de trabajo de estrategias produzcan un avance notable, pero hay que tener en cuenta que 45 horas de trabajo equivaldrían, en mi colegio a 54 clases de la asignatura de lengua, o lo que es lo mismo: más de dos meses dedicando la asignatura de lengua a trabajar estrategias de comprensión lectora. Aunque el estudio muestre la eficacia del programa, para conocer su eficiencia sería deseable, como mínimo, hacer un estudio de seguimiento: ¿se mantiene meses después la mejora conseguida con E-Pels?

El mapa de la temperatura de Pearson

A pesar del título esta entrada no trata sobre meteorología. Pearson es una editorial internacional especializada en temas educativos que ha puesto en marcha una sección de análisis de indicadores relacionados con el rendimiento escolar. Los datos que ofrece Pearson están tomados de evaluaciones como PISA, TIMMS o PIRLS, y de datos oficiales de los países que se analizan, como el producto interior bruto, la tasa de graduación, el paro en población con titulación superior,… Toda esta información es pública y se puede encontrar en otros sitios, pero aquí han desarrollado algunas herramientas ingeniosas para acceder a ella con facilidad, y poder hacer algunos análisis básicos de forma rápida e intuitiva.

Una herramienta que me ha llamado la atención es el mapa de la temperatura: se trata de un mapa del mundo en el que seleccionas un indicador y cada país (del que haya datos) aparecerá de un diferente según el resultado que haya obtenido en ese indicador. Además se puede seleccionar el año del que quieres los datos, y, simplemente deslizando el selector del año, se puede ver algo parecido a una animación de cómo evolucionan los distintos países en ese indicador.

Un ejemplo

La mejor manera de ver las virtudes y los defectos de la herramienta es mediante un ejemplo, como la evolución de la distancia entre el salario de los profesores y el salario medio de cada país. En el mapa se puede ver que hay países en loas que la diferencia entre salario de los profesores y salario medio se mantiene estable a lo largo del tiempo, como Estados Unidos en el rango entre 0,2 y 1,4 o Alemania en el rango entre 1,4 y 2,1. España ha sido un país bastante regular, situándose casi siempre en el mismo rango que Alemania, aunque en 2000 y 2001 alcanzó el rango entre 2,1 y 3,3. En ningún momento el sueldo relativo de los profesores finlandeses fue mejor que el de los españoles.

Sueldo relativo de los profesores en 2001

Por si alguna vez tengo que emigrar miro cuáles son los países con mejores sueldos relativos y el que más me convence es Chile. Esto me sirve para hablar de los problemas del mapa de Pearson, porque el primero es que casi no explica en qué consisten los indicadores que mide, que son cosas como «gasto público por alumno como % del producto interior bruto per cápita», «productividad global del trabajo (producto interior bruto en relación con la paridad del poder adquisitivo por trabajador en dólares)», o «índice de desarrollo humano». Si en español me cuesta distinguir entre sueldo, salario, ingresos, ganancias, salario bruto,… en inglés lo tengo menos claro. Otro problema es el uso del mismo color, o un color muy parecido, cuando un país está en la zona baja del indicador y cuando no hay datos disponibles sobre ese indicador.

En fin, para lo que nos interesa aquí, una curiosa herramienta para poder ver con facilidad (e imprecisión) la evolución de un país, o para comparar a varios países en predictores e indicadores del rendimiento escolar, y en indicadores del desarrollo económico y social. Entre los indicadores escolares incluye información sobre PISA, TIMMS, PIRLS, y la tasa de graduación en educación secundaria y en educación superior.

Medir la velocidad lectora en la lectura silenciosa

La velocidad lectora es un indicador que puede tener su utilidad, y es relativamente fácil de calcular. El alumno lee un texto, se cuenta el número de palabras que ha leído, se mide el tiempo que ha tardado en leerlo y con esos datos se puede calcular el número de palabras por minuto que ha leído. Cuando hay problemas en la precisión de la lectura puede ser más útil otro indicador que es el número de palabras correctamente leídas por minuto. En ese caso basta con restar los errores del número de palabras leídas. En investigación se utilizan otros indicadores como el tiempo medio de lectura por cada palabra del texto, que en realidad es una variante del número de palabras por minuto, una medida más tradicional y más comprensible en educación. Todo esto supone que el alumno está leyendo en voz alta, pero la lectura en voz alta es una actividad que se hace pocas veces fuera del colegio. En realidad la misma forma de calcular la velocidad de lectura en voz alta se puede utilizar para calcular la velocidad de la lectura silenciosa, pero en ese caso, no es posible saber si el alumno realmente ha leído el texto completo. En educación puede ser suficiente con dar por supuesta la buena voluntad del alumno y tomar esa medida, pero en investigación es bastante insatisfactoria, porque es demasiado global, y el tiempo que el alumno dedica a leer cada palabra, oración o parte de ella puede dar una información importante sobre su comprensión.

Métodos más sofisticados para medir la velocidad en la lectura silenciosa

Imagen enlazada de la web de Sidney D’Mello

El caso es que existen otros métodos para medir la velocidad en la lectura silenciosa que se pueden dividir en métodos de seguimiento ocular, lectura autoadministrada y métodos de lápiz. Los métodos de seguimiento ocular utilizan un sistema de cámaras que registra los movimientos oculares, siendo posible conocer qué palabra del texto está mirando el lector y cuánto tiempo dedica a su lectura. Su inconveniente es que ponen al lector en una situación bastante artificial en la que normalmente tienen que leer en una pantalla, con unas gafas especiales, y manteniendo quieta la cabeza. Sin embargo la tecnología de seguimiento ocular avanza y los dispositivos que se utilizan son cada vez más discretos. En la lectura autoadministrada el texto aparece en una pantalla, pero no completo, sino que cada vez que el lector pulsa una tecla aparece una nueva palabra o fragmento del texto. Un programa de ordenador calcula el tiempo que transcurre entre una pulsación y otra. Aunque este sistema es menos preciso que el seguimiento ocular porque el lector puede pulsar la tecla sin haber leído el fragmento de texto que se le ha presentado, o porque no tiene en cuenta si se vuelve hacia atrás en el texto, tiene una gran ventaja: se puede aplicar a varios alumnos de forma simultánea. Sin embargo, los colegios no cuentan con instrumental para el seguimiento ocular ni para la lectura autoadministrada, por eso para ellos puede ser importante una tercera forma de evaluación: los «métodos de lápiz» en los que el alumno va subrayando la parte de texto que está leyendo, o simplemente lee, y cuando el profesor da una señal rodea la palabra que está leyendo en ese momento. Nuevamente dependemos de la buena voluntad del alumno (que se presupone) y la información que proporciona el método es menor que la de los dos primeros, pero como ventaja, es económico, se puede aplicar en grupo, y es el menos artificial de todos.

Un nuevo método

Lo que he estado diciendo puede ser interesante para fanáticos de la evaluación de la lectura o como recurso para ayudar a insomnes a conciliar el sueño, pero lo cuento para señalar que se está utilizando un método nuevo de evaluar la velocidad de lectura silenciosa. Se trata de un método mixto que aprovecha las posibilidades de las tabletas digitales. Se trata de una combinación entre los métodos de lápiz y la lectura autoadministrada, en el que se enseña al alumno a subrayar lo que lee, parando cuando para la lectura, y subrayando hacia atrás cuando vuelve atrás en el texto. Lo peculiar del método es que el alumno lee en una tableta con un programa que registra y analiza los movimientos del lápiza en la pantalla. Eso permite calcular su velocidad de lectura, pero también tener una estimación de cuánto tiempo dedica a cada parte del texto, y saber si ha necesitado volver hacia atrás. Se puede encontrar más información sobre el uso de este método en el artículo Silent reading fluency using underlining, de Katherine W. Price, Elizabeth B. Meisinger, Max M. Lowerse y Sidney K. D’Mello.

Software de Perú para trabajar la comprensión lectora

Hacía tiempo que no comentaba ningún programa informático para trabajar la comprensión lectora. En este caso se trata de un programa realizado en Perú llamado Lektor High School 3.0, desarrollado por la empresa Softone. Lektor High School 3.0 está destinado a estudiantes de secundaria pero Softone también tiene otros programas para adultos, para trabajar la velocidad lectora y el programa Lektor Home.

La presentación del programa en la web de la empresa es elegante, pero encuentro poca información, y casi nada sobre lo que me suele interesar que es cómo se ha evaluado su eficacia y qué resultados se han obtenido. Casi toda la información que doy la he encontrado en vídeos de Youtube, o en noticias o reseñas de periódicos digitales.

La página de Softone ofrece la posibilidad de registrarse y, aunque lo he hecho, al ingresar en la página se produce un error. Sí que es posible descargarse una demo del programa Lektor Home.

Lektor Home

Lektor High School tienen 12 lecciones, y Lektor Home tiene 6 lecciones en las que se realizan ejercicios como seleccionar el significado de palabras, buscar sinónimos, descartar palabras que no pertenecen a un campo semántico, ordenar oraciones, seleccionar el significado de frases hechas, completar oraciones, juegos de memoria visual,… Algo que me ha llamado la atención en los vídeos que he encontrado es que casi no se ven actividades en las que se trabajen con textos. Es decir: se están trabajando aspectos básicos de la comprensión lectora, lo que podría ser útil para alumnos de poca edad o con bastantes problemas de comprensión. Intuyo que algo fundamental para la eficacia de este programa será la extensión. Me explico: sabemos que mejorar el vocabulario suele producir mejoras en la comprensión lectora, y que hay muchas actividades para trabajar el vocabulario que pueden ser útiles, pero también sabemos que para que se noten los efectos, la enseñanza de vocabulario tiene que ser sistemática y masiva. Sistemática porque no basta con hacer un ejercicio con unas palabras para que queden aprendidas, sino que es mejor volver sobre ellas y practicarlas de diferentes formas, y masiva porque normalmente las palabras frecuentes las conoce casi todo el mundo, por eso son frecuentes, así que el vocabulario nuevo que aprendes suele ser poco frecuente. Aunque está bien aprender 20 palabras poco frecuentes, precisamente porque son poco frecuentes las vas a encontrar con poca frecuencia en los textos que lees, de modo que para que ese aprendizaje se note, hay que aprender cientos de palabras poco frecuentes.

Se realiza una evaluación inicial leyendo textos y contestando preguntas, aunque no tengo claro qué se hace con los resultados de esa evaluación. Lo ideal sería que el programa detectase los problemas o puntos débiles del lector y seleccionase ejercicios adecuados para la mejora. Tengo la impresión de que todos los usuarios hacen todos los ejercicios, aunque al no haber probado el programa no lo tengo claro.

Lektor High School

En cuanto a la forma de hacer las actividades, la mayoría se realizan seleccionando la respuesta correcta o arrastrando los elementos para ordenar o completar. Aunque muchos de los ejercicios son como actividades de papel y lápiz trasladadas a la pantalla del ordenador el programa hace algo que no hacen los ejercicios de lápiz y papel: informa en el momento de si el ejercicio está bien realizado o no. Desconozco si aprovecha otras posibilidades que puede tener el trabajar en el ordenador como registro de errores, repetición de ejercicios mal realizados. o recursos de animación que hagan las actividades más atractivas.

Por la información que he encontrado el programa Lektor High School 3.0 ha sido probado en algunos colegios. Pero no he encontrado ninguna referencia a cómo se ha comprobado su eficacia o qué resultados se han obtenido. Algo que me sorprende un poco porque si obtienes un resultado positivo (aunque el método seguido para la comprobación sea cuestionable) qué mejor publicidad que darlo a conocer, y si no se obtienen resultados positivos igual habría que revisar la presentación del programa y los beneficios que se supone que ayuda a conseguir.

Primeros pasos con el entorno estadístico R

Comenté hace mucho tiempo que R es un entorno para estadística libre que tiene, entre muchísimas otras cosas, varios paquetes para la realización de metanálisis. Al carecer de presupuesto para mis investigaciones no puedo permitirme usar SPSS (sí que podría, en los ordenadores de la Universidad de Navarra, pero me resulta complicado ir hasta allí), y el programa PSPP, con el que hice los cálculos de mi tesis sirvió, pero tiene enormes limitaciones, así que he decidido seguir trabajando con R.

Mi intención es contar en esta entrada los primeros problemas que un completo novato como yo tiene con él. No tuve especiales dificultades con la instalación, pero una vez que pones en marcha R lo que encuentras es el signo

>

A diferencia de otros paquetes, aquí no hay una tabla donde se definen las variables y se incluyen los datos para luego seleccionar las funciones que quieras aplicar, sino que se hace todo «a mano», como si fuera un lenguaje de programación (en cierto modo es eso). Me entero de que existe la posibilidad de completar el programa con un interfaz gráfico, pero, por ahora no voy a explorar esa posibilidad.

La ayuda ayuda poco

R tiene sus manuales y ayuda online. Basta con escribir

> help()

poniendo entre paréntesis el comando sobre el que se quiera la ayuda para acceder a una completa ficha sobre ese comando. Por ejemplo, si quiero saber saber más sobre cómo calcular una media, solo tengo que escribir

> help(mean)

claro que, para eso, hay que saber que la función para calcular medias se llama «mean», y la información que encuentro es exhaustiva, detallada y poco útil. Así que, asumiendo que no tengo ni idea busco algún manual diseñado para gente como yo. Los que me permiten avanzar son: R para principiantes, El entorno estadístico R: ventajas de su uso para docencia e investigación, e Introducción al entorno R. Además de eso, basta con introducir en un buscador lo que estás buscando (por ejemplo «calcular ancova en R») para encontrar un montón de explicaciones. Afortunadamente hay mucha gente que trabaja con este entorno.

Los signos <- y ->

Una de las cosas que llama enseguida la atención es que se emplean mucho los signos <- y -> para asignar valores. Son algo así como «esto equivale a la cosa que le está apuntando». Por ejemplo (yo escribo lo que está en rojo, y el programa de devuelve lo que está en azul)

> a <- 7+6
> a
[1] 13
> c <- a + 9
> c
[1] 22

Pero las cosas no solo se convierten en un número, sino que se pueden convertir en vectores o tablas. Por ejemplo:

> resultados <- c(4,3,2,9,3)
> resultados
[1] 4 3 2 9 3
> mean(resultados)
[1] 4.2
En este caso, he utilizado «c», que sirve para combinar valores en un vector o una lista, de modo que «resultados» equivale a todos los elementos de la lista, de modo que puedo calcular su media («mean»).

Importar datos

Trabajar de esa forma con colecciones muy grandes de datos es muy engorroso, pero R permite importar tablas de datos generadas con otros programas. Yo he creado una tabla con Open Office Calc y la he exportado como fichero .csv (valores separados por comas).  Es importante que el fichero se encuentre en el directorio de trabajo de R. Para saber cuál es se escribe

> getwd()

(Si no te gusta lo puedes cambiar con el comando «setwd()»). Una vez que el fichero con los datos está en el directorio de trabajo lo importo de la siguiente manera:

> datos <- read.table(«comparacionmedias.csv», sep=»,»)
> datos
   V1 V2
1 22 36
2 22 17
3 15 19
4 13 22
5 13 42
6 27 19
7 25 33
8 36 21
9 24 24
10 18 28
…
En este caso «sep=»,»» quiere decir que los datos de la tabla están separados por coma. Si no lo hubiera incluido las filas importadas hubieran sido

 V1 V2
1 22 ,36
2 22 ,17
3 15 ,19
…

R asigna a cada columna, de forma automática un nombre de variable (V1, V2). Si yo hubiera puesto en la primera fila de mi tabla nombres para las variables como «experimental» y «control», hubiera tenido que escribir

> datos <- read.table(«comparacionmedias.csv», sep=»,», header = TRUE)

para que R reconociese esa primera línea como los nombres de las variables.

Existen otras formas de importar datos como «scan» pero, no voy a escribir de lo que no he probado.

Primeros cálculos

Una de las cosas que más quebraderos de cabeza me dio fue descubrir cómo operar con las variables (las columnas de mi tabla). La forma de hacerlo es referirse a ellas de la siguiente forma: nombre de la tabla + $ + nombre de la variable. En mi caso datos$V1 y datos$V2.

> datos$V1
[1] 22 22 15 13 13 27 25 36 24 18 23 26 17 27 26 31 25 28 14 21 25 28 29 28 26
[26] 23 NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA
[51] NA NA NA NA

(NA es una casilla en blanco en la tabla). Incluso puedo asignarles otros nombres

> datos$V1 -> control

Una vez que he hecho estas cosas he avanzado mucho. Por ejemplo, puedo comparar los resultados del grupo experimental y de control mediante una prueba T

> t.test(datos$V1, datos$V2)

Welch Two Sample t-test

data: datos$V1 and datos$V2
t = -0.8269, df = 57.732, p-value = 0.4117
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
-4.113143 1.708584
sample estimates:
mean of x mean of y
23.53846 24.74074

Desde aquí hasta la metarregresión queda un difícil camino por recorrer pero, por ahora, con estos sencillos ejercicios me queda la sensación de que he entendido el funcionamiento elemental del entorno.

Presentación de TuinLEC

El blog de Psicotext informa de la presentación de TuinLEC (tutor inteligente de lectura), un programa para alumnado de 6º de primaria a 2º de ESO.

El plan de trabajo de TuinLEC está estructurado en 8 sesiones. En las cuatro primeras, unos personajes virtuales interactúan con el alumno para enseñarle estrategias de competencia lectora, que practica en las restantes. El programa proporciona al alumno información sobre sus resultados y sobre el proceso que siguen, y le da puntos y premios, además, en la fase de práctica, el estudiante puede emplear tres ayudas: el flotador, que aclara una pregunta, los prismáticos, que señalan la región del texto donde se encuentra la información relevante para responderla, y la lupa, que sitúa esa información relevante con mayor precisión.

El programa ha sido pilotado en dos colegios, y se están introduciendo mejoras como la gestión de la información sobre el progreso de cada alumno, trabajo de nuevas estrategias, y combinación con áreas curriculares y con el formato de libro electrónico.

Aún no parece haber ninguna publicación en revistas científicas con los resultados del estudio piloto, pero la web de Psicotext da algo de información. El programa se evaluó en un colegio de Navarra y otro de Valencia, con 15 estudiantes de 6º de primaria por cada centro, y un grupo de control. La comprensión lectora antes y después de la aplicación del programa se evaluó con los tests TEC y CompLEC, desarrollados también por el equipo de Psicotext. En el pretest, el grupo experimental y el grupo de control se mantenían prácticamente iguales en el percentil 60 de la prueba, mientras que en el postest el grupo experimental alcanzaba el percentil 80, mientras que el grupo de control seguía con un resultado parecido al del pretest. También se recogió información acerca de la satisfacción y el interés del alumnado con el método.

TuinLEC utiliza el programa Read&Answer, desarrollado por Psicotext para recoger información sobre cómo el lector está interactuando con el texto (tiempos de lectura y partes del texto que consulta), y, de esa forma dar una valoración más precisa a los usuarios.

Información adicional

· Comunicación presentada en el 2º congreso Uso y Buenas Prácticas con TIC. Describe el programa con mayor detalle.

· El programa iSTART, otro tutor inteligente para la mejora de la comprensión lectora, basado en el análisis semántico latente (vídeo en inglés).

Otros dos programas multimedia

Estos días voy progresando en mi recogida de información sobre investigaciones acerca de métodos de mejora de la comprensión lectora en español, y de vez en cuando me encuentro con alguna aplicación informática. Lo habitual es que se trate de programas elaborados por profesores o departamentos universitarios, y con escaso recorrido: ni se comercializan, ni tampoco se liberan para que cualquiera pueda emplearlos.

La mayor parte de las veces, la impresión que queda es la de haber encontrado un fósil, del que queda un rastro en un artículo, en las actas de un congreso, o  en una web que lleva tiempo sin actualizarse. Como se puede ver en las entradas anteriores, rara vez se puede acceder al programa. Alguna vez encontramos una demostración, y muchas veces nos tenemos que conformar con unas capturas de pantalla o una descripción.

Los últimos que he localizado son:

· Lector, para el desarrollo de la lectura crítica, elaborado por Jorge Osorio y Mónica Véliz, de la Universidad de Concepción, en Chile.

· Tiempo de lectura, elaborado por las lingüístas dominicanas Liliana Montenegro y Margarita Haché para mejorar la lectura crítica en primaria. Se puede encontrar información sobre él en las páginas 43-56 de este libro.

Más información

Programas computacionales para el español como lengua materna