Archivo | Herramientas para evaluación / investigación RSS feed for this section

Dos ofertas de formación

29 Oct

Centro Kutxazabal, sede de la jornada “Comprensión Lectora y Escritura”. Foto de Ketari

Noviembre nos trae dos interesantes ofertas de formación relacionadas con la comprensión lectora. Una es la jornada Comprensión Lectora y Escritura, que se celebrará el día 22 en San Sebastián – Donosti, organizada por la asociación Dislebi. En ella estaremos Eduardo Herrera y yo mismo.

Todos los detalles (lugar, mapa, inscripción) se pueden encontrar en este enlace al blog de Dislebi.

La otra oferta es el curso online Las Preguntas de PISA y TIMMS: una Práctica para el Aula, organizado por el MECD. No creo que esté centrado en comprensión lectora ya que TIMMS es una evaluación de competencia matemática, y PISA evalúa, además de la comprensión lectora, la competencia matemática y científica. Pero es una buena ocasión para conocer los items liberados de estas pruebas y sus características.

Pruebas EGRA para la evaluación inicial de la lectura

21 May

El test que comento en esta entrada es una pequeña parte de una batería para la detección e identificación de necesidades educativas especiales en alumnos con TDAH y dificultades de aprendizaje (también se puede encontrar aquí). Se trata de un enorme trabajo coordinado por Ceferino Artiles y Juan Eugenio Jiménez, y publicado por la consejería de educación del Gobierno de Canarias.

Para lo que nos interesa, tiene un test de evaluación inicial de la lectura, para el tercer curso de Infantil y los dos primeros de Primaria, y esa prueba incluye (sección 6) la lectura y comprensión de un pasaje, y una prueba de comprensión oral (sección 7), además de pruebas de lectura, escritura, cálculo, resolución de problemas y función ejecutiva.

Para encontrar la prueba de comprensión

No es que tenga dudas de cualquiera pueda encontrar la prueba, pero como el índice es un poco escueto, doy alguna indicación, la batería se puede descargar con el enlace que aparece en el primer párrafo, pero es un documento con algo más de 100 páginas.

  • Las pruebas de lectura se presentan en la página 45.
  • El texto que lee el alumno está en la página 69.
  • Las instrucciones y las preguntas de comprensión lectora están en la página 63.
  • Los baremos de comprensión lectora se encuentran en la página 53 (1º de Primaria) y 54 (2º de Primaria). Estos baremos han sido obtenidos con estudiantes de Canarias.

Un curioso antecedente

En realidad el EGRA ya existía antes de ser publicado en esta batería. Se puede encontrar su descripción e información muy interesante sobre su uso en el Manual para la Evaluación Inicial de la Lectura en Niños de Educación Primaria, escrito por Jiménez para USAID, agencia estadounidense para la cooperación internacional. Existe un análisis psicométrico de las pruebas realizado en Honduras y Nicaragua.

 

Prueba para evaluar la comprensión lectora en Educación Infantil

14 Ene

Ya ha habido varias personas que han escrito comentarios interesándose por algún test que valore la comprensión lectora en Educación Infantil. Lo cierto es que son muchos los colegios en los que la mayoría de los alumnos son capaces de leer y comprender textos sencillos al terminar la etapa de Educación Infantil, cuando los niños tienen 5 – 6 años. Sin embargo, muchos de los tests de comprensión de los que disponemos tienen bastantes años y no contemplaban esa posibilidad ya que están hechos en momentos en los que la enseñanza de la lectura era una actividad del primer curso de Educación Primaria.

Como excepción, las Pruebas Pedagógicas Graduadas para Preescolar y Ciclo Inicial, realizadas por el equipo de asesoramiento psicopedagógico de Terrassa (Martí Costa, Ferran Marco, Mª José Montón, Marta Quer, Esperanza Salas y Teresa Valls). Estas pruebas están graduadas en cuatro niveles que corresponden a los cursos 1º de Preescolar, 2º de Preescolar, 1º de EGB y 2º de EGB, que en la actualidad serían: 2º y 3º de Infantil y 1º y 2º de Primaria. Se trata de pruebas que miden multitud de aprendizajes  y que incluyen algunas pruebas de comprensión oral y cuatro items de comprensión lectora que permitirían situar un alumno en 3º de Infantil, 1º o 2º de Primaria.

Creo que en la actualidad esta prueba tiene un interés anecdótico, salvo en colegios en los que no se hace una enseñanza de la lectura en Infantil, sino una mera aproximación. El ítem que se usa en 3º de Infantil es una prueba de asociación de dibujos y palabras. En 1º de Primaria se utiliza otro ítem de asociación de dibujos y palabras y uno de preguntas sobre oraciones, y es en 2º de Primaria cuando se responde a preguntas sobre un texto.

Se trata de una prueba criterial en la que simplemente se valora si el alumno alcanza un determinado nivel o no, cuál es el máximo nivel alcanza, y aún puede ser útil para la detección de problemas, por ejemplo si un alumno no alcanza el nivel que le debería corresponder de acuerdo al curso en el que está.

Las pruebas aún están a la venta, publicadas por la editorial Antonio Machado – Visor Libros. Dejo una ficha sobre esta prueba en la página de tests estandarizados. La página está ordenada de forma cronológica inverso (los tests más recientes son los primeros que aparecen) y estas pruebas se publicaron en 1989.

La escala ESCOLA

9 Jul

ESCOLA es el acrónimo de escala de conciencia lectora, un cuestionario que trata de valorar la metacognición y las funciones ejecutivas en la lectura. Para quien desconozca el significado de las palabras anteriores, diré que la escala nos da información sobre como el alumno planifica la lectura, cómo supervisa que está comprendiendo y cómo evalúa el resultado obtenido. Para eso se utiliza un cuestionario con preguntas de elección múltiple entre tres alternativas.

La escala está publicada en la editorial EOS, como

Puente, A., Jiménez, V., y Alvarado, J.M. (2009). Escala de conciencia lectora (ESCOLA). Evaluación e intervención psicoeducativa de procesos y variables metacognitivas durante la lectura. Madrid: EOS. Cuesta 65 euros y viene acompañada con un CD para la corrección y la aplicación electrónica de la escala.

Se utiliza con niños de 6 a 13 años, y es una herramienta bastante empleada en la práctica educativa y en investigación. Se puede encontrar un estudio psicométrico de la escala en estos artículos:
· La escala de conciencia lectora: un instrumento para evaluar metacognición y funciones ejecutivas en tarea de lectura.
· Medición de estrategias metacognitivas mediante la escala de conciencia lectora.

La escala completa se puede ver en la tesis doctoral de Victoria Jiménez, una de las autoras, entre las páginas 238 y 243. Evidentemente la tesis contiene mucha información sobre la fundamentación teórica de la escala, su validez, fiabilidad, análisis factorial, etc.

En otro documento (el trabajo de fin de grado de Cristina Sánchez y Marcela Maldonado) se puede encontrar, en la página 45 información sobre a qué proceso corresponde cada ítem de la escala y una referencia en la página 50 para interpretar la escala.

Calculando la kappa de Cohen con poco esfuerzo

26 Jun

Dos advertencias importantes:

  1. Ésta no es una entrada sobre comprensión lectora sino sobre análisis estadístico. Leer su contenido puede producir daños cerebrales irreversibles.
  2. Yo sé muy poco de estadística. Mi formación más avanzada consistió en un curso de introducción al análisis estadístico, así que no hay que tomarse muy en serio lo que digo porque puede haber errores de todo tipo.

Ahora paso a lo que voy a contar:

Una situación muy común en investigación educativa es que una persona, a la que llamamos el juez, tenga que valorar algo. Podemos poner como ejemplo una prueba de comprensión lectora con preguntas de respuesta libre en la que el alumno tiene 0 puntos si la respuesta es incorrecta, 1 punto si es correcta pero incompleta y 2 puntos si es correcta y completa. Eso lo tiene que valorar un juez. Pero, ¿sabemos si el juez es fiable? Una forma habitual de comprobarlo es que otro juez (o varios jueces) evalúen las mismas pruebas para ver si lo hacen igual. Después se analiza hasta qué punto son iguales o diferentes las valoraciones y así se mide la fiabilidad de los jueces.

Una forma muy sencilla de valorar la fiabilidad es contar las veces que los dos jueces están de acuerdo, las veces en que dan puntuaciones diferentes y obtener el porcentaje de acuerdo. Una crítica que suele hacerse a este sistema es que no tienen en cuenta las veces que los observadores se podrían poner de acuerdo por azar.

De wikipedia

La kappa de Cohen tiene en cuenta el porcentaje de acuerdo entre los jueces, y también el porcentaje de acuerdo que obtendrían contestando al azar. Al final de la entrada dejo algunos enlaces donde se puede encontrar más información sobre esta medida, su uso, las fórmulas para calcularla, etc. Solo añadiré aquí que la kappa de Cohen se suele emplear para valorar la fiabilidad entre jueces que miden variables cualitativas (clasifican a los sujetos en grupos excluyentes) como el color, suspenso – suficiente – bien – notable – sobresaliente, existe – no existe…

Las calculadoras

Pero mi intención no es enseñar a usar la kappa de Cohen, sino advertir a las personas que necesiten calcularla que, además del cálculo a mano, o en una hoja de cálculo, existen varias calculadoras online muy útiles. Aquí dejo los enlaces a algunas de ellas:

· Kappa de Cohen para 2 jueces y 2 categorías (2*2), en español.

· Online kappa calculator. Aplicación java para calcular la kappa con dos o más jueces.

Y mi favorita que es la siguiente:

· ReCal2: reliability for 2 coders.

Ésta última tiene una versión para tres o más jueces, pero lo que más me gusta es que además de la kappa de Cohen calcula otras medidas. Todo lo que tienes que hacer es preparar una hoja de cálculo con dos columnas, cada una con los datos de un evaluador (sin que queden casillas vacías), guardarla en formato .csv y subirla a la web. La calculadora ofrecerá el porcentaje de acuerdo entre los evaluadores, la kappa de Cohen, la pi de Scott y la alfa de Krippendorff. Esas dos últimas medidas son muy similares a la kappa, y cuando lo he usado las diferencias entre unas y otras suelen ser de milésimas.

Información general

Dejo aquí algunos enlaces en los que se ofrece más información sobre esta medida, su utilidad, la forma de calcularla y orientaciones para interpretar sus valores:

Evaluación de la concordancia inter-observador en investigación pediátrica: coeficiente de kappa.

The kappa coefficient: a review.

Cohen’s kappa (wikipedia).

Tests peruanos para evaluar la comprensión lectora

15 May

He actualizado la página de tests incluyendo algunas referencias a pruebas realizadas en Perú de las que he tenido noticia estos días. Me ha hecho bastante gracia que todas fueran peruanas y por eso les dedico esta entrada.

Baremo peruano para el CLP

El primero que comento es la adaptación de una parte del test CLP, el CLP7 y el CLP8. Este test se construyó y baremó en Chile, pero Ana E. Delgado et al. (2007) han realizado su estudio psicométrico y su baremo con alumnos de 1º y 2º de Secundaria de Lima. Se pueden encontrar los baremos al final de su artículo “Comparación de la comprensión lectora en alumnos de primer y segundo año de secundaria de centros educativos estatales y no estatales de Lima metropolitana“.

Test de comprensión de Violeta Tapia

El segundo es el Test de Comprensión Lectora de Violeta Tapia, un test de los años 80 para alumnado de 12 a 20 años, por tanto una de las pocas pruebas estandarizadas que se puede utilizar para evaluar la comprensión lectora de alumnos de universidad (que es uno de los usos que se le ha dado).

Se puede ver, con muy mala calidad de imagen, al final de esta tesis, y con mejor calidad a partir de la página 190 de esta otra tesis. Los baremos (que no he podido llegar a conseguir) se pueden encontrar en Silva, M. (1977) Estandarización de un Test de Comprensión de Lectura en jóvenes estudiantes de Lima Metropolitana. Tesis para optar el grado de Bachiller en Psicología, Universidad Nacional Mayor de San Marcos. Lima, Perú.

Baremo peruano para el test de Woodcock

Consejo directivo de la Asociación Peruana de Lectura. Violeta Tapia se encuentra en el centro.

Seguimos con Violeta Tapia, que también ha estandarizado la versión en español de la Woodcock Language Proficiency Battery. Se trata de una batería general que incluye pruebas de  vocabulario, lectura y escritura. Se trata de una prueba muy importante en Estados Unidos, y su subtest de comprensión lectora es muy utilizado tanto en educación como en investigación.

En las tres publicaciones que se ofrecen a continuación se pueden encontrar el estudio psicométrico y los baremos adaptados de las pruebas de Woodcock. Desafortunadamente no es fácil encontrar el test, que creo que está descatalogado.

Test DET

Por último, comento la prueba de comprensión lectora DET (Delgado, Escurra y Torres)  Como sucede con las anteriores, no he conseguido encontrarla completa. En este caso está disponible un baremo para alumnado de 3º de Secundaria (en las últimas páginas de este artículo), pero no dispongo de los textos, las preguntas y los criterios de valoración.

Frecuencia de las palabras en el español

29 Abr

Estoy preparando una investigación sobre lectura y necesito comprobar que dos textos son similares, algo más complicado de lo que parece porque dos textos pueden ser similares o diferentes en muchas cosas: tema, número de palabras, número de oraciones, complejidad de las sílabas que aparecen… Una de las medidas que quiero tener en cuenta es si las palabras que contienen los textos son muy frecuentes o poco frecuentes en el español.

En otras ocasiones he utilizado para comprobar la frecuencia con que aparece una palabra el diccionario de frecuencias de Alameda y Cuetos (1995). Pero esta vez estoy utilizando otra herramienta muy interesante: las medidas de frecuencia del corpus del español de la Real Academia Española, que pone a nuestra disposición un listado con las frecuencias con que aparecen las palabras del Corpus de Referencia del Español Actual (CREA). Podemos acceder a las 1.000 palabras más frecuentes, a las 5.000 más frecuentes, a las 10.000 más frecuentes o a todo el corpus, que tiene más de 70.000 palabras. Con la herramienta de búsqueda que tenga el programa con el que estemos viendo el documento se puede buscar la palabra que nos interese.

Para quien tenga un interés especial en el estudio del léxico es recomendable que miren base de datos completa, el CREA que permite operaciones bastante más complejas que consultar la frecuencia con que aparece una palabra.

Interfaz de consulta del corpus CREA

En bachillerato tuve un profesor de latín que nos hizo aprender la máxima “ex abundantia cordis os loquitur” (o algo parecido) que se traduce como “la boca habla de lo que abunda en el corazón”. Por eso siempre que me encuentro una herramienta de este tipo me gusta comprobar cuáles son las palabras más frecuentes pensando que eso es lo que abunda en nuestro corazón. Evidentemente buena parte de las palabras más frecuentes tienen función gramatical más que significado. En los 10 primeros puestos encontramos “de, la, que, el, en, y, a, los, se, del”. Pero las que me interesan son otras. Por ejemplo, en el puesto 47 encontramos “años” que me parece la primera palabra con contenido semántico. En el puesto 64 está “parte” y en el 70 “tiempo”. En el 76 encontramos “vida”, en el 86 “gobierno”, en el 90 “día”, y en el 98 “país”. Ya a partir de la 100 hay palabras como “mundo (101)”, “año (102)”, “presidente (115)”, “casa (122)”, “España (134)”, “Madrid (140)”, “nacional (141)”, “trabajo (142)”, “política (152)”, “poder (166)”, “partido (171)”, “personas (172)”, “grupo (173)”, “mujer (181), “José (183)”,…

¿Solo nos interesa el fútbol? Si nos saltamos “partido” que puede relacionarse con el deporte y con la política, “fútbol” aparece en el puesto 839, y palabras como “deporte”, “balón”, “portería” o “gol” no aparecen entre las 1.000 más frecuentes del corpus.

Escala de autoeficacia en la lectura

26 Mar

Estoy planteándome abrir en el blog una sección de herramientas para valorar cuestiones relacionadas con la lectura pero que no sean exactamente comprensión lectora. El caso es que hasta ahora no acierto con una forma breve y clara de nombrar eso que quiero incluir, pero sí tengo cierta idea de cuál puede ser el contenido. Por ejemplo, allí iría incluida esta escala de Raquel Fidalgo y Olga Arias (Universidad de León) sobre la autoeficacia de la lectura.

La autoeficacia es un componente de la motivación, algo así como la opinión que una persona tiene sobre su capacidad para realizar una tarea y para conseguir mejoras en ella. Normalmente una autoeficacia positiva indica que la persona tendrá más interés, se esforzará más y durante más tiempo en la realización de una tarea, en este caso la lectura, y también que evitará mejor los efectos negativos (estrés, depresión) que pueden producir las dificultades.

Ahora lanzo una advertencia al lector que simplemente busque descargarse la escala con sus instrucciones, sus criterios de corrección y sus baremos para poder imprimirla y aplicarla: no voy a ofrecer ese material, ni siquiera sé si existe. Lo que sí que incluiré es el enlace y comentario a un par de artículos en los que se puede encontrar la información necesaria para que el lector laborioso y con el suficiente interés se construya su escala.

Dónde

La información que se necesita se puede encontrar en dos artículos:

También se necesita uno de los textos del Test de Estrategias de Comprensión, o algún otro de género, extensión y dificultad similares. Por 26€ uno tiene el material para aplicar la escala, y un test estandarizado de comprensión.

Para quién

Los estudios se han realizado con alumnado de 5º y 6º de Primaria y de 1º y 2º de la ESO. Fidalgo y Arias-Gundín (2012) ofrecen la media y la desviación típica calculadas con más de 100 alumnos de cada uno de esos cursos.

Con qué

La escala tienen los siguientes items:

  1. Puedo establecer relaciones entre las ideas principales del texto.
  2. Puedo conocer el significado de las palabras del texto.
  3. Puedo adquirir conocimientos de este texto que luego pueda aplicar en otras situaciones, lecturas, tareas.
  4. Puedo comprender las oraciones del texto.
  5. Puedo reconocer la idea principal entre las oraciones de un párrafo.
  6. Puedo pronunciar correctamente todas las palabras del texto.
  7. Puedo reconocer la finalidad principal del texto.
  8. Puedo hacer un resumen que recoja las ideas principales del texto.
  9. Puedo establecer relaciones entre las ideas principales del texto y mis conocimientos previos sobre el tema.
  10. Puedo leer de modo fluido, sin trabarme en la lectura.
  11. Puedo responder correctamente diferentes preguntas del contenido del texto.
  12. Puedo reconocer las diferentes partes del texto.
  13. Puedo leer rápidamente sin que esto disminuya mi comprensión del texto.
  14. Puedo detenerme durante la lectura del texto y recordar lo más importante sin necesidad de leerlo nuevamente.
  15. Puedo aprender nuevos conocimientos que me sean útiles para el futuro.

Estos items se distribuyen en tres grupos que son: autoeficacia en los procesos de decodificación y fluidez (2, 6, 10, 13), autoeficacia en los procesos y factores implicados en la formación del texto base (1, 4, 5, 7, 8, 11, 14), y autoeficacia en la formación del modelo de situación (3, 9, 15).

Charlotte Weeks: Una niña leyendo

Los alumnos puntuaban cada ítem de 0 (estoy muy seguro de no poder hacerlo) a 100 (estoy muy seguro de poder hacerlo), y se trata de un cuestionario dependiente de una tarea, que era la lectura y resumen de uno de los textos del test TEC (textos expositivos sobre ciencias naturales o sociales).

El análisis psicométrico de la escala se puede encontrar en Fidalgo, Arias-Gundín y Olivares (2013).

Cómo

Según el procedimiento que describien los artículos, se explica a los alumnos que deben leer el texto y realizar un resumen de una página como máximo, enfatizando que el resumen no consiste en copiar literalmente el contenido del texto, sino que debe recoger las ideas principales o más importates. Antes de comenzar la tarea, contestan al cuestionario.

De los resultados del cuestionario se obtiene la media de los resultados del cuestionario, y de cada una de las tres subescalas, y esos son los resultados que se pueden comparar con las medias y desviaciones típicas de Fidalgo y Arias-Gundín (2012).