La d de Cohen es una medida del tamaño del efecto como diferencia de medias estandarizada. Es decir, nos informa de cuántas desviaciones típicas de diferencia hay entre los resultados de los dos grupos que se comparan (grupo experimental y grupo de control, o el mismo grupo antes y después de la intervención).
En una entrada anterior sobre la g de Hedges (otra diferencia de medias estandarizada) se puede encontrar una explicación sobre qué es lo que se está midiendo que se puede aplicar a la d de Cohen. En otra entrada anterior sobre el tamaño del efecto se pueden encontrar algunas referencias para juzgar si ese resultado es pequeño, moderado o grande.
El cálculo de la d es sencillo cuando se dispone de la media de los resultados y la desviación típica de cada grupo. Pero cuando uno comienza a informarse se encuentra con que, incluso para ese caso elemental, distintos autores proponen distintas fórmulas, y entonces es cuándo comienza la incertidumbre.
En algo están todos de acuerdo: para calcular la d de Cohen restamos las medias, la del grupo que recibe el tratamiento menos la del grupo de control, o si en el diseño sólo hay un grupo, la de después del tratamiento menos la de antes. Una vez que se tiene el resultado de la diferencia de medias, hay que dividirlo entre la desviación típica de ese resultado en la población. Aquí es donde empiezan las diferencias.
Lo normal es que desconozcamos cuál es la desviación típica en la población de una medida como los resultados de una prueba de comprensión lectora, así que ese dato desconocido tiene que ser inferido de a partir de los datos que tenemos (la desviación típica de las muestras que han participado en la investigación).
(1) Fórmula de la d si las desviaciones típicas son iguales
Un caso poco habitual, pero posible, es que los resultados del grupo experimental y del grupo de control tengan la misma desviación típica. En ese caso, se divide la diferencia de medias entre esa desviación típica, y ya está calculada la d. Cuando la desviación típica de los dos grupos es distinta existe la posibilidad de elegir la de uno de ellos. En ese caso se suele elegir la del grupo de control, ya que se asume que como no recibe ninguna intervención será más parecido a la población general que el grupo experimental.
(2) d de Cohen para grupos iguales
Pero lo más habitual es utilizar la desviación típica combinada de los dos grupos, y eso se puede hacer mediante distintas fórmulas. En la que apompaña a este párrafo se calcula la raíz cuadrada de la media de las dos desviaciones típicas. Esta forma se reserva solo para el caso en que los dos grupos tengan el mismo número de sujetos.
(3) Desviación típica combinada con grupos de tamaño diferente
Quizá la fórmula más conocida para calcular la d de Cohen es la que calcula la desviación típica combinada tal como aparece a la izquierda de este párrafo. Según Hunter y Schmidt (2004), la particularidad de esta forma de cálculo es que el peso de cada desviación típica no se da según el tamaño de cada grupo (n), sino según los grados de libertad (n-1). Por tanto, se puede plantear una alternativa en la que desaparezcan los -1 y el -2. Hunter y Schmidt consideran que la diferencia entre ambos planteamientos es mínima.
Quien tenga conocimientos sobre el tema o, simplemente sea observador, se habrá dado cuenta de que al calcular la d de Cohen con una desviación típica combinada en la que se asignan los pesos según los grados de libertad (n-1) en realidad estamos calculando la g de Hedges.
Es evidente que hace falta alguien que explique esto mejor que yo, pero por ahora no he encontrado una explicación clara y razonada del por qué de todas estas sutiles diferencias. Por lo menos sí he encontrado indicaciones de que las diferencias entre unas y otras formas de calcular la d se minimizan cuando se emplean muestras grandes, y la preocupación surge cuando las muestras son pequeñas. Estos últimos días me ha tocado calcular la d de varios estudios con muestras pequeñas (entre 12 y 30 participantes por grupo) y las diferencias que se obtienen con distintas fórmulas son de unas centésimas.
(4) Otra forma de calcular la desviación típica combinada
Wikipedia, en su entrada sobre el tamaño del efecto propone otra forma de calcular la desviación típica combinada. Es muy parecida a la de la g de Hedges, pero no se utiliza el «- 2» en el denominador. En la discusión que acompaña a la entrada se expone que esta forma de calcular la desviación típica combinada está extraída de un libro de Hartung, Knapp and Sinha.
¿Qué he hecho yo? Mi primer impulso fue utilizar la fórmula en la que la desviación típica se calcula tomando como peso el tamaño de cada grupo (esa que mencionan Hunter y Schmidt y no está representada en ninguno de los gráficos de la entrada) ya que si tengo que calcular muchas ds, cuanto más sencillo sea el cálculo más tiempo ahorraré. Mientras preparaba la entrada anterior sobre la lectura dialógica vi que las autoras habían empleado la calculadora de Wilson para hallar los tamaños del efecto, así que busqué información sobre eso y me encontré con una herramienta muy interesante:
Calculadora de tamaños del efecto de David B. Wilson.
No solo calcula varios tamaños del efecto, sino que tiene varias posibilidades para calcular la d de Cohen a partir de distintos estadísticos como pruebas T, chi-cuadrado, o pruebas F (cuando la prueba F compara dos grupos equivale al cuadrado de T, pero si se comparan más de dos grupos uno debería tener muy claro qué está haciendo y cómo va a interpretar la d que se obtenga). No están colgadas las fórmulas que se utilizan para calcular los tamaños del efecto, pero es posible encontrarlas en otros sitios, como en esta presentación sobre el tamaño del efecto. La forma de calcular la desviación típica combinada es la que aparece en la fórmula (3).
Para terminar: una curiosidad. El doctor Wilson es profesor de… Criminología.
Información adicional
· Un vídeo (en inglés) sobre el tamaño del efecto que utiliza como ejemplo un supuesto programa de mejora de la lectura. Ilustra muy bien cómo una intervención puede producir resultados significativos, pero tener un efecto tan pequeño que no merezca la pena el esfuerzo para desarrollarla.
Comprensión lectora basada en evidencias 
Hola!!
No es la primera vcez que te leo, pero creo que sí la primera que te comento.
Me ha parecido realmente interesante, tú blog en general lo es, pero esta entrada me ha servido mucho. Estoy aquí por recomendación del señor google, al buscar sobre la d de Cohen, y aunque me has ayudado mucho, tengo alguna duda.
Lo buscaba porque estoy leyendo un artículo en el que en los descriptivos a priori de la muestra, para diferenciar a los grupos utilizan la d de cohen, además del estadístico z de diferencias de media (que tampoco me queda claro qué es, a pesar de que ya lo he visto otras veces). Me extrañó ver que usaban la d de cohen para diferencias entre grupos, cuando para mí era, como bien explicas aquí y en la otra entrada, una medida para el tamaño del efecto. En ese sentido entiendo bien su utlidad e importancia, pero aplicado a cálculos de la varianza… Tú, aquí, creo que hablas más de eso, del tamaño del efecto, que de su utilidad para diferenciar grupos… así que aunque me ha parecido muy interesante, he mantenido mi duda… cómo puede usarse un tamaño del efecto para diferenciar entre grupos?? me echas un cable?
Gracias de ante mano.
Te cuento que estoy haciendo el doctorado en la U. de La Laguna (Tenerife), en Psicología de la Educación, específicamente mi tema son las Dificultades de Aprendizaje en Matemáticas. Nuestros temas, veo, no están muy alejados.
De nuevo, darte la enhorabuena por tu sitio, es realmente interesante, y lo tienes bien posicionado, Google me lo ha recomendado a menudo.
Gracias además por la Herramienta de B. Wilson, voy a explorar a ver qué usos le puedo dar. tiene buena pinta.
Ah! mi blog: cpeakem@blogspot.com.es
Saludos y gracias!!
Chris.
Hola Crhis:
En primer lugar una advertencia: de estadística sé mucho menos de lo que parece, así que lo más prudente es que no te fíes del todo de lo que diga. La d de Cohen es una medida de tamaño del efecto de la familia de las diferencias de medias estandarizadas. Nos informa de la distancia que hay entre dos medias en puntuaciones típicas z (número de desviaciones típicas de distancia). Eso hace que se pueda usar para comparar los resultados de un grupo antes y después de una intervención, o, si queremos los resultados de dos grupos después de la intervención (es la medida que se suele usar en los metanálisis) o los resultados de dos grupos antes de la intervención.
Lo que no nos dice la d es si la diferencia es estadísticamente significativa. Normalmente una d grande se suele relacionar con una diferencia significativa, pero no siempre tiene por qué ser así, porque la significatividad está muy relacionada con el tamaño de la muestra, de modo que una diferencia grande con muestras pequeñas puede no ser significativa. Para saber si la diferencia es significativa o no tendríamos que calcular el intervalo de confianza de la d, o usar una prueba de contraste de medias (ahí va lo de la «Z», la «t», y otras). Te dejo un enlace de un texto de Pedro Morales, un profesor de estadística que escribe con bastante más claridad que lo que se suele encontrar por internet. Aquí explica el contraste de medias y su relación con el tamaño del efecto. En las páginas 7 y 8 verás la relación entre z, t de Student, y cómo la fórmula de z es muy similar a la de la d.
Escribí mal mi web: cpeakem.blogspot.com.es
Oye, estoy viendo que el estadístico Z de diferencia de medias, es la prueba t? es lo mismo?
(me siento ridículo por no saber eso…en fin, aprender siempre es bueno)
jeje, gracias de nuevo de ante mano.
Chris.
En el texto que cité antes dice que la t de Student se utiliza para muestras pequeñas y la Z para muestras grandes. Aquí hay una explicación sobre sus diferencias.
Muy interesante tu blog. Trabajo en un colegio, y creo que hay bastante información que me va a ser útil. Lo tengo que mirar más despacio. Yo también veo puntos en común entre nuestros trabajos. Sin ir más lejos, mi próxima entrada va a ser sobre intervenciones para mejorar la comprensión de problemas matemáticos.
Estimado colega,
acabo de conocer tu página y quería felicitarte y agradecerte la información de gran calidad que pones en ella a disposición de todos. Como no estoy muy ducho en estos blogs, me pregunto cómo enviarte dos viejos trabajos del grupo de García Madruga que no tienes en tu lista.
Lo dicho, mucho ánimo con tan excelente trabajo
Juan Luis Luque
Estimado Juan Luis:
Es un honor que alguien que ha trabajado tanto en la investigación sobre lectura y comprensión visite el blog. Además, la visita me ha servido para conocer al grupo de investigación dilema, que enlazaré en la página principal en cuanto pueda. Te envío mi dirección de correo electrónico para lo de los trabajos. Muchas gracias por el ofrecimiento.
Estimados, las calculadoras que están en la web ´para calculo del tamaño del efecto aparecen siempre para comparar dos grupos (Experimental-Control). Mi pregunta es, estas calculadoras sirven para calcular el tamaño del efecto en un mismo grupo, un antes y un después, o hay otro tipo de calculadoras… gracias
Estimado Eduardo:
Sí que sirven. Basta con considerar que la medida de antes es el grupo de control y la medida de después es el grupo experimental. Sí que hay que tener en cuenta que en los diseños antes – después los tamaños del efecto suelen ser mayores que en los diseños con grupo de control.
Hola
En primer lugar me gustaría darle la enhorabuena por pagina Sin embargo, tengo una pequeña duda acerca de la d. Puedo calcular esta siempre que compare dos medias de dos grupos, por ejemplo en el caso de un anova y luego hago un análisis post hoc de comparaciones una a uno como benferroni, Sería logico utilizar la d. en benferroni?.
Muchas gracias de antemano
Hola Gema:
Yo no soy especialista en estadística, más bien, un torpecillo que cuenta cómo se las ha arreglado para hacer hacer operaciones o cálculos que están por encima de su capacidad. La d se puede calcular (por ejemplo, con ayuda de la calculadora de la Campbell Collaboration) a partir de los resultados de una Anova con dos grupos (si son más de dos, no tengo claro qué es lo que se está calculando), o más sencillamente, con las medias y las desviaciones típicas de los resultados.
El test de Bonferroni ajusta la significación de los resultados. La idea es que cuantas más comparaciones se hacen en un estudio más posibilidades hay de conseguir un resultado significativo por simple azar y esta prueba trata de controlar esa intervención del azar. En principio, me parece que no tiene mucho que ver con el tamaño del efecto (puede haber efectos grandes que no sean significativos estadísticamente y efectos pequeños que sí lo sean).