viernes, 7 de octubre de 2011

Análisis de Ítems: confiabilidad

(Viene de aquí)

Continuando con el ejemplo de la entrada anterior, se calculó el coeficiente de confiabilidad por consistencia interna mediante el α de Cronbach (o KR-20). Es convencional considerar como apropiados valores superiores a 0.7 para este coeficiente. La tabla 5 presenta los valores del α junto con su intervalo de confianza. La figura 5 presenta las curvas de Cronbach-Mesbah para la prueba. Éstas muestran la forma en que se afecta el α si se elimina alternativamente un ítem.

Tabla 5.  Coeficientes α de Cronbach.
Prueba
N.Items
N
Inferior
alpha
Superior

21
886
0.55
0.59
0.63

Figura 5. Curvas de Cronbach-Mesbah

Veamos su interpretación: los valores del coeficiente α en la tabla 5 indican una consistencia interna con valores cercanos a 0.6 para el coeficiente y su intervalo de confianza, lo cual es una consistencia por debajo de la deseada. Además, de acuerdo con la figura 5, es notorio cómo, salvo por la pareja de ítems 17 y 19, todos los ítems entre 17 y 25 se agrupan al final de la curva y que para ellos solos el coeficiente α se incrementa a valores alrededor de 0.7. Lo anterior indica una asociación intra ítems, y que su asociación con los demás no es muy alta. Teniendo en cuenta esto, la figura 6 presenta la curva sin incluir dichos ítems (i.e. 17 a 25). Nótese que en este caso el coeficiente desciende a alrededor de 0.5.
Tabla 6. Coeficientes α de Cronbach
Prueba
N.Items
N
Inferior
alpha
Superior

13
886
0.43
0.48
0.53

Figura 6. Curvas de Cronbach-Mesbah sin ítems 17 a 25.

Puede apreciarse un comportamiento similar en los ítems 12 y 13, que parecen asociarse de forma diferente al resto de ítems en la prueba. Teniendo en cuenta esto, la figura 7 presenta la curva excluyendo también estos ítems. Nótese que ya no se observa ningún “codo” y que en este caso el coeficiente desciende a alrededor de 0.45. La ausencia de codo indica que los ítems remanentes hacen referencia a un mismo constructo (o variable latente).
Tabla 7: Coeficientes α de Cronbach por prueba
Prueba
N.Items
N
Inferior
alpha
Superior

11
886
0.40
0.45
0.50
Figura 7. Curvas de Cronbach-Mesbah por prueba sin ítems 12 y 13.



Referencias:

Basado en un reporte realizado por Sandra Liliana Camargo. Psicómetra.

Análisis de ítems: ejemplo

A manera de ejemplo, a continuación se presentan los resultados del análisis de una prueba.

Para realizar los análisis se excluyeron 22 personas que no alcanzaron a terminar toda la prueba y 5 adicionales que tuvieron trece o más preguntas omitidas.

Las tablas 1 a 3 presentan el flujo de opciones por cantidad y tipo de opciones de respuesta; este corresponde al porcentaje de evaluados que eligió cada una de las opciones de respuesta, también se incluyen el porcentaje de participantes con omisión en la pregunta y aquellos que marcaron más de una opción de respuesta. La clave indica cuál era la respuesta correcta.


Tabla 1. Flujo de opciones - Selección múltiple
Ítem
# Opciones
Clave
Opciones
Opciones Inválidas
A
B
C
D
Multimarca
Omisión
1
3
A
36.3
40.6
14.9

0.2
7.9
2
3
C
38.5
36.2
17.8

0.2
7.2
3
3
B
20.7
25.2
45.3

0.6
8.4
4
3
B
16.0
27.4
48.1

0.3
8.1
5
3
A
22.9
38.0
30.5

0.5
8.1
6
4
B
6.9
66.5
9.8
10.3
3.2
3.4
12
2
A
68.1
26.6


3.2
2.1
13
2
B
35.6
56.9


2.9
4.6
15
4
D
8.5
20.5
10.4
42.9
3.7
14.0
16
3
C
14.4
31.2
26.5

0.5
27.4
17
2
B
64.4
32.6


1.2
1.7
18
2
A
74.2
20.9


1.1
3.8
19
2
B
67.5
28.4


1.2
2.8
20
2
A
76.1
20.5


1.5
1.9
21
2
B
8.8
87.7


0.3
3.2
22
2
B
9.5
85.9


0.8
3.8
23
2
A
88.8
7.6


1.4
2.3
24
2
B
9.4
86.1


1.5
3.0
25
2
B
8.1
89.2


1.1
1.6


 Tabla 2. Flujo de opciones - Falso/Verdadero
Ítem
Clave
Verdadero
Falso
Omisión
9
F
57.3
39.5
3.2
10
F
41.3
55.6
3.0
11
F
49.5
45.9
4.5


Tabla 3. Flujo de opciones - Múltiple respuesta/Abierta
Ítem
Clave
Correcto
Incorrecto
Omisión
7
3214
30.6
60.6
8.8
8
C
64.3
23.9
11.7
14
ommm
23.8
66.8
9.4


Los análisis por flujo de opciones para cada una de las preguntas muestran que los distractores (opciones no correctas pero que deben ser plausibles como respuestas) de cada ítem atraen a proporciones importantes de los participantes que no eligen la opción correcta (clave), lo cual es el comportamiento apropiado de una pregunta. Se puede afirmar, entonces, que al no tener grandes diferencias entre las proporciones de cada opción, la mayoría de las opciones de los ítems presentan un comportamiento adecuado; sin embargo, es relevante revisar los ítems del 21 al 25, para los cuales una de las opciones no resulta atractiva para los participantes, lo que hace que estas preguntas sean muy fáciles. Por otra parte, el porcentaje de omisiones presentado en los ítems 15 y 16, sugiere que efectivamente no tienen la habilidad, pero también podría significar que las preguntas son confusas o que los participantes no saben qué tienen que hacer.
La tabla 4 presenta las estadísticas asociadas con la clave del ítem, es decir, su dificultad, discriminación, correlación ítem-prueba y confiabilidad:
·     La dificultad es la proporción de individuos que responde correctamente al ítem; se consideran como valores apropiados dificultades entre 0.2 y 0.8.
·     La discriminación es la diferencia entre las proporciones de aciertos del grupo de individuos con buen desempeño y del grupo con mal desempeño en la prueba. Se usó la tercera parte de los individuos con mayor número de respuestas correctas como grupo de buen desempeño, y la tercera parte con menor número de respuestas correctas como el grupo de mal desempeño. Se consideran valores apropiados discriminaciones superiores a 0.3, valores regulares entre 0.2 y 0.3, y valores inaceptables los inferiores a 0.2.
·     La correlación ítem-prueba empleada fue la correlación punto-biserial (rpbis), donde el número de respuestas correctas en la prueba se calculó incluyendo y excluyendo al ítem; esta medida indica qué tan fuerte es la asociación entre acertar al ítem y tener un buen desempeño en la prueba. Son valores apropiados de correlación ítem-prueba los positivos, pero es preferible si son mayores a 0.3.
·        La confiabilidad del ítem corresponde al aporte del ítem a la varianza de la prueba en conjunto y por esta vía a la consistencia interna de los puntajes; esta estadística depende de la dificultad del ítem y de la correlación ítem-prueba. Teniendo en cuenta los valores apropiados para estas estadísticas, son valores deseables para la confiabilidad del ítem aquellos que sean superiores a 0.12.
Tabla 4. Estadísticas de los ítems.
Ítem
Dificultad
Discriminación
r
r Excl.Ítem
Confiabilidad. ítem
Confiabilidad. Excl.Ítem
Revisar / Eliminar
1
0.36
0.39
0.35
0.21
0.17
0.10

2
0.18
0.20
0.27
0.15
0.10
0.06
*
3
0.25
0.21
0.22
0.09
0.10
0.04
*
4
0.27
0.23
0.27
0.14
0.12
0.06
*
5
0.23
0.18
0.20
0.08
0.09
0.03
**
6
0.66
0.38
0.35
0.21
0.16
0.10

7
0.31
0.38
0.36
0.23
0.17
0.10

8
0.64
0.44
0.39
0.26
0.19
0.12

9
0.40
0.19
0.16
0.02
0.08
0.01
**
10
0.56
0.20
0.19
0.04
0.09
0.02
**
11
0.46
0.18
0.17
0.02
0.09
0.01
**
12
0.68
0.34
0.33
0.20
0.16
0.09

13
0.57
0.37
0.35
0.21
0.17
0.10

14
0.24
0.25
0.29
0.17
0.13
0.07
*
15
0.43
0.39
0.35
0.21
0.17
0.10

16
0.27
0.24
0.27
0.14
0.12
0.06
*
17
0.33
0.21
0.20
0.06
0.09
0.03
**
18
0.74
0.33
0.34
0.22
0.15
0.10

19
0.28
0.22
0.23
0.10
0.11
0.04
*
20
0.76
0.41
0.40
0.28
0.17
0.12

21
0.88
0.26
0.37
0.28
0.12
0.09
*
22
0.86
0.27
0.39
0.29
0.13
0.10
*
23
0.89
0.27
0.41
0.32
0.13
0.10
*
24
0.86
0.34
0.47
0.38
0.16
0.13
*
25
0.89
0.20
0.33
0.24
0.10
0.08
*
Un “” indica que el ítem debe ser revisado y “∗∗” que debiera ser eliminado  


De acuerdo con el análisis de dificultad, discriminación, correlación ítem-prueba con y sin el ítem y la confiabilidad con y sin el ítem, se recomienda:
·       Eliminar los ítems 5, 9, 11 y 25 ya que no logran discriminar si la persona sabe o no sobre el tema que se les está preguntando y la relación del ítem con la prueba es muy baja, es decir, el ítem no está midiendo lo mismo que la prueba.
·    Los ítems 2, 3, 4, 10, 14, 16, 17, 19, 21, 22, 23 y 24 deben ser revisados ya sea por el índice de dificultad que presentan, muy fáciles o muy difíciles, o porque están midiendo otra variable diferente a la que mide la prueba.
·       Los ítems 1, 6, 7, 8, 12, 15, 18 y 20 presentan índices adecuados a lo deseable, por lo cual se sugiere dejarlos sin mayor cambio.
Figura 3. Dificultades y orden de dificultad

En la figura 3 se presenta la relación entre las dificultades de los ítems y su orden de menor a mayor para la prueba. La recta representa la dificultad que tendrían las preguntas si estuvieran igualmente repartidas entre la mínima y la máxima dificultades apropiadas (0.2 y 0.8). Esta gráfica permite apreciar que la distribución de las dificultades de los ítems 1, 4, 7, 9, 15, 17  y 19 tienden a estar alta, mientras que para los ítems 6, 8, 12, 18, 20, 21, 22, 23, 24 y 25 la dificultad tiende a ser baja. En general se observa que la prueba no es equilibrada respecto a la dificultad, ya que se ve más cargada de ítems fáciles.

Figura 4. Dificultad y discriminación

La figura 4 presenta las dificultades y discriminaciones de los ítems; en ellas se señalan cuáles ítems debieran ser revisados y cuáles debieran ser eliminados de la prueba en virtud de las estadísticas obtenidas. Se observa, entonces, que 9 ítems presentan un buen comportamiento con relación a la clave, 12 ítems debieran ser revisados y 4 ítem se podrían eliminar, tal como se muestra en la tabla 4.

(continúa...)

Referencias:

Basado en un reporte realizado por Sandra Liliana Camargo. Psicómetra.