Algo poco conocido de PISA es que los datos en bruto de cada una de las evaluaciones se ponen a disposición pública, junto con otros materiales como cuestionarios o libros de códigos. Se puede acceder a todos estos ficheros en la sección de descargas de PISA.
Pero no es imprescindible descargar un enorme conjunto de datos para analizarlos en un programa de estadística, ya que en la misma página se ofrece una aplicación que relaciona los resultados en las pruebas de competencias con información recogida en los cuestionarios de alumnos, padres y colegios.
Con esta aplicación voy a obtener datos sobre la relación entre ofertar clubs de lectura como actividad extraescolar y la comprensión lectora. Para eso selecciono en la lista de países «ESP-Spain», y en la lista de variables escolares «SC13Q05-Book club». Pulso el botón «create tables» y obtengo el siguiente resultado:
| Variable: | SC13Q05 | «Book Club» |
| Full question: | «Extra-Curricular Activities Offered by School – Book club». | |
| Category: | 1 | Yes |
| 2 | No |
| Reading | Mathematics | Science | ||||||||
| Country | Variable | Category | % | (%SE) | Mean | (SE) | Mean | (SE) | Mean | (SE) |
| Spain | SC13Q05 | 1 | 34.23 | (2.92) | 477 | (3.83) | 481 | (3.38) | 485 | (3.71) |
| Spain | SC13Q05 | 2 | 61.03 | (2.71) | 482 | (2.72) | 484 | (2.96) | 490 | (2.68) |
| Spain | SC13Q05 | m | 4.73 | (1.28) | 495 | (10.23) | 495 | (10.05) | 496 | (9.31) |
| OECD Total | SC13Q05 | 1 | 42.33 | (1.16) | 492 | (2.30) | 487 | (2.37) | 494 | (2.39) |
| OECD Total | SC13Q05 | 2 | 55.05 | (1.26) | 492 | (1.83) | 489 | (1.73) | 499 | (1.90) |
| OECD Total | SC13Q05 | m | 2.62 | (0.47) | 492 | (6.38) | 486 | (6.28) | 500 | (6.43) |
| OECD Average | SC13Q05 | 1 | 31.03 | (0.50) | 497 | (1.53) | 499 | (1.64) | 504 | (1.53) |
| OECD Average | SC13Q05 | 2 | 66.62 | (0.51) | 492 | (0.92) | 494 | (1.01) | 499 | (1.11) |
| OECD Average | SC13Q05 | m | 2.79 | (0.22) | 491 | (3.78) | 487 | (3.60) | 493 | (3.90) |
La letra «m» hace referencia a los datos perdidos (missing), porque no se contestó a la pregunta, o se hizo de forma incorrecta. Los resultados de España se presentan en las filas con el título «Spain», y los de la OCDE se presentan de dos formas: «OECD Total», que es el resultado medio de todos los alumnos de la OCDE y «OECD Average», que es el resultado medio de una selección de alumnos proporcional al número de habitantes de cada país.
Una vez que sabemos leer la tabla, podemos comprobar que en España, los colegios con clubes de lectura tienen una media de 477 puntos en la prueba de competencia lectora, mientras que los que no ofertan esa actividad tienen una media de 482 puntos. ¿Es mucha o poca diferencia? La aplicación no nos dice si la diferencia es significativa, pero con los datos que ofrece es posible aproximarse al tamaño del efecto.
La d de Cohen es la diferencia entre la media de los dos grupos, dividida entre la desviación típica 
pero en este caso no conocemos la desviación típica combinada, sino la de cada uno de los grupos. Para no complicarlo mucho, voy a tomar la desviación típica del grupo mayor (el 2, no hay club de lectura). El resultado es -1,84: los colegios con club de lectura obtienen como media una puntuación de comprensión lectora 5 puntos menor que los colegios sin club de lectura, que es una diferencia superior a 1,5 desviaciones típicas.
No es necesario clausurar los clubs de lectura. El primer motivo es que cuando se observan los resultados totales de la OCDE la media de los colegios con club de lectura es exactamente igual que la de los que no la tienen. El segundo motivo es porque no estamos hablando de una relación causa efecto, sino de una correlación. Al describir los colegios españoles resulta que los que ofertan clubs de lectura tienen una puntuación menor en competencia lectora, pero de ahí no se deduce que el club de lectura sea la causa de la diferencia. ¿Cuál es la causa? Con esta forma de trabajo no se puede saber.
Bueno; ahí queda este recurso que permite obtener información sobre la relación entre comprensión lectora y variables como la actitud de los alumnos ante la lectura y el estudio, su relación con las Tics, o el funcionamiento de los colegios. Lo mejor de todo, que no hay que esperar a que lo cuenten en los periódicos o en la inspección.
Para más adelante me queda una duda: ¿por qué Pisa utiliza una escala con media de 500 y desviación típica 100, y resulta que las desviaciones típicas que ofrece esta aplicación raramente superan el 10?
Comprensión lectora basada en evidencias 