Big Data Science

En la anterior entrada mencioné que los Data Scientist tienen que lidiar con datos de baja calidad frecuentemente, a menudo trabajan con Big Data y tienen que convencer a los directivos de utilizar algoritmos que no estén basados únicamente en el valor promedio. En esta entrada aclararé algunos puntos acerca de Big Data.

Big Data se trata de gestionar grandes volúmenes de información de manera adecuada. Implica nueva infraestructura, nuevas bases de datos y nuevo software adecuado al tema. Nuevo respecto al paradigma vigente hasta finales de la primera década del siglo XXI. Para algunos, Big Data es añadir información de bases de datos externas, por ejemplo, open data, a la información que actualmente tienen acerca de los clientes, pero el concepto debe ir enfocado a recabar mayor cantidad de información acerca de los clientes y/o ciudadanos, por tanto, debe estar asociado a inteligencia de negocios (BI) y en buena medida a Ciencia de Datos (Data Scientist).

Mayor información significa recuperar información de los Social Media, incluyendo mensajes de voz y de video. Para ciertas compañías es recuperar información del Internet de las cosas (IoT). De otra manera es solo BI, no Big Data. En este sentido, Big Data no hace referencia al tamaño de las bases de datos, sino a la cantidad de información no estructurada que se debe manejar, o estructurada, pero en tiempo real y de miles de puntos simultáneamente.

¿Infraestructuras? Las comunes son AWS, Azure o Google Cloud.

¿Bases de datos? Se orientan hacia las bases de datos No SQL.

Pero los ejemplos son los que ilustran mejor el concepto:

• La información de todos los sensores de los aviones Airbus se colecta en tiempo real y se pronostica la necesidad de realizarle mantenimiento a los aviones.
• El Centro de Alertas Tempranas de una gran urbe toma la información de predicción del clima y los datos del tráfico en tiempo real y predice el tipo de acciones preventivas que deben tomar los diferentes cuerpos del gobierno municipal para evitar la reducción en la movilidad y/o eventos riesgosos.
• Los departamentos de Recursos Humanos y las empresas de colecta de talentos utilizan sistemas automáticos que procesan los correos que remiten hojas de vida y mediante sistemas inteligentes buscan en los curriculum vita anexados palabras claves que filtre el ingente número de solicitudes con el objeto de entregar al personal de selección sólo las hojas de vida prometedoras. Las palabras claves se han seleccionado previamente mediante modelos de Machine Learning de clasificación supervisada.
• Un proveedor de fotografías para compañías de publicidad recibe miles de fotografías de centenares de fotógrafos profesionales para añadirlas a su catálogo. Modelos de Machine Learning seleccionan las imágenes que tienen salida en el mercado mediante modelos de clasificación no supervisados.
• Un peaje urbano monitorea mediante cámaras los automóviles que sobrepasan el límite de las zonas geográficas que obligan al pago del peaje mediante débito automático. Modelos de reconocimiento de imágenes establecen el número de matrícula y gestionan el débito correspondiente.
• Un sistema de seguridad de un gran aeropuerto internacional tiene un sistema de vigilancia automático por medio de video. Constantemente compara la imagen filmada con una imagen de las salas vacías y las compara. Detecta en qué momento un objeto nuevo permanece durante algún tiempo en un mismo lugar y avisa a la policía anti explosivos para que revise el evento.
• Un cliente de una cadena de grandes superficies pasa por la caja para pagar los productos comprados. Antes de imprimir la tirilla de la factura, el sistema compara los hábitos de compra del cliente con las ofertas disponibles y junto a la factura le entrega una lista de probables compras que puede necesitar y lo incentiva mediante descuentos para que visite pronto, de nuevo, el almacén.

En todos los casos, se maneja Big Data con modelos predictivos o de clasificación: el concepto correcto es Big Data Science.

¿Qué es un Data scientist?

Lo primero que sugieren algunos es explicar las diferencias con otros perfiles semejantes:^[1]

• Un Data analyst es alguien que utiliza la mayor parte de su tiempo realizando preguntas a las bases de datos. Algunos lo consideran un nivel junior del Data scientist. Puede tener mucha o poca experiencia relacionada con análisis estadísticos o algoritmos. Son ideales para contestar preguntas puntuales a partir de bases de datos tipo SQL o Excel. Cuando se les solicita, pueden tambien producir visualizaciones básicas con herramientas orientadas a tal efecto como por ejemplo Tableau o Qlik View. Si ya tiene bases de datos constituidas y necesita conocer la respuesta a ciertos temas, es el perfil ideal. Es probable que se estén tomando cursos de actualización en relación a las nuevas bases de datos no SQL como MongoDB o Cassandra.


• Un Data engineer o arquitecto de datos está menos orientado a componer queries, y más orientado a construir sistemas que puedan proveer respuestas. A diferencia de los Data analysts, los Data engineers trabajan frecuentemente junto con desarrolladores de software, asegurándose de que los datos son capturados de manera correcta y almacenados en el lugar correcto. También se aseguran de que los procesos que deben correr a ciertas horas, así lo realicen. Es probable que se estén capacitando en temas de plataformas de Big data tales como Hadoop y Spark, así como en lenguajes de programación orientados a la productividad tales como Java y Python.


• Un Data scientist supervisa proyectos de datos en donde no necesariamente toda la información esta lista y estructurada. Adicionalmente a tener habilidades técnicas deben comunicar sus hallazgos de manera efectiva a los demás miembros de la organización, muchas veces mediante la técnica del Data story telling, también debe tener la habilidad de coordinar un equipo de profesionales. Y debe ser capaz de realizar preguntas, al igual que un Data analyst, pero realizando análisis mucho más sofisticados mediante técnicas estadísticas o de modelamiento predictivo, dependiendo de la tarea a realizar, con herramientas libres como R, Python o Scala, o herramientas propietarias muy especializadas como SAS o MathLab, entre muchas otras.

Hablar de técnicas estadísticas o de modelamiento predictivo hace que algunos pregunten si un actuario es una especie de Data scientist. Lo cierto es que los actuarios trabajan con tipos de datos muy propios del sector asegurador. Eso significa que no utilizan parte de su tiempo recolectando información y depurándola. Y los actuarios trabajan con temas legales.

Los Data scientist tienen que lidiar frecuentemente con datos de baja calidad, a menudo trabajan con Big data y tienen que convencer a los directivos de utilizar algoritmos que no estén basados únicamente en el valor promedio.

Los actuarios deben poder entender y explicar el proceso de sus matemáticas financieras. Tienden a trabajar con temas regulados por el sistema financiero y no necesariamente con temas predictivos. Dos temas muy específicos, que no tienen nada en común con un Data scientist, son cómo se le asigna el precio al producto y la metodología de las reservas actuariales.

Un Data scientist puede recolectar y entender la frecuencia y severidad de las reclamaciones, pero usualmente no tiene que conocer otros temas tales como la distribución de los costos, la evolución de las tasas de interes, el costo del capital o el margen de solvencia.

Ya se mencionó que se asocian al Data scientist las técnicas del modelamiento predictivo, las cuales también se conocen como Learning Machines.^[2]

Las Learning Machines tienen una amplia gama de aplicaciones, incluyendo motores de búsqueda, diagnósticos médicos, detección de fraude en el uso de tarjetas de crédito, análisis del mercado de valores, clasificación de secuencias de ADN, reconocimiento del habla y del lenguaje escrito, juegos y robótica.

Se trata de una rama de la inteligencia artificial que hace uso de un proceso de inducción del conocimiento al tratar de crear programas capaces de generalizar comportamientos a partir de una información recolectada, suministrada al modelo. Puede ser aprendizaje supervisado o no supervisado.

El aprendizaje supervisado se caracteriza por contar con información que especifica qué conjuntos de datos son satisfactorios para el objetivo del aprendizaje. Un ejemplo podría ser un software que reconoce si una imagen dada es o no la imagen de un rostro: para el aprendizaje del programa tendríamos que proporcionarle diferentes imágenes, especificandole al algoritmo si se trata o no de rostros. Otro ejemplo es proporcionar todo un conjunto de transacciones asocidas al uso de la tarjeta de crédito por parte de cada cliente, especificando en qué transacciones se sabe que hubo fraude. La máquina modela qué comportamientos de uso son sospechosos de fraude. En el aprendizaje no supervisado el algoritmo no cuenta con datos que definan qué información es satisfactoria. El objetivo principal de estos programas suele ser encontrar patrones que permitan clasificar los datos en diferentes grupos, en función de sus atributos. En relación a las imágenes, una máquina de aprendizaje no supervisado no sería capaz de decirnos si una imagen dada es un rostro o no pero sí podría, por ejemplo, clasificar las imágenes según patrones que finalmente podrían ser interpretados como grupos en los que unos contienen animales, otros objetos y otros paisajes, e ir subclasificando sucesivamente.

El diagrama más difundido acerca de los Data scientist es aquel en donde lo ubican más allá de la Machine Learning y lo colocan como la intersección entre un estadístico, un experto en una o más materias y un técnico en computación con habilidades de sacar partido de los programas más allá de aquello para lo cual fueron creados (el hacker).

Es una posición muy atrayente por lo interesante de los proyectos y por lo bien paga, por ello hoy en día muchos estadísticos e ingenieros de computación se presentan como Data scientist. Tal vez tienen bases, pero no todas las necesarias.

-------------------------------------------------------------

[1] Basado en https://www.upwork.com/hiring/for-clients/how-much-hire-data-scientist/, al 7 de marzo de 2017.

[2] La explicación se basa fundamentalmente de la entrada “apendizaje automático” de Wikipedia.

Análisis de Ítems: confiabilidad

(Viene de aquí)

Continuando con el ejemplo de la entrada anterior, se calculó el coeficiente de confiabilidad por consistencia interna mediante el α de Cronbach (o KR-20). Es convencional considerar como apropiados valores superiores a 0.7 para este coeficiente. La tabla 5 presenta los valores del α junto con su intervalo de confianza. La figura 5 presenta las curvas de Cronbach-Mesbah para la prueba. Éstas muestran la forma en que se afecta el α si se elimina alternativamente un ítem.

Tabla 5.  Coeficientes α de Cronbach.

Prueba	N.Items	N	Inferior	alpha	Superior
	21	886	0.55	0.59	0.63

Figura 5. Curvas de Cronbach-Mesbah

Veamos su interpretación: los valores del coeficiente α en la tabla 5 indican una consistencia interna con valores cercanos a 0.6 para el coeficiente y su intervalo de confianza, lo cual es una consistencia por debajo de la deseada. Además, de acuerdo con la figura 5, es notorio cómo, salvo por la pareja de ítems 17 y 19, todos los ítems entre 17 y 25 se agrupan al final de la curva y que para ellos solos el coeficiente α se incrementa a valores alrededor de 0.7. Lo anterior indica una asociación intra ítems, y que su asociación con los demás no es muy alta. Teniendo en cuenta esto, la figura 6 presenta la curva sin incluir dichos ítems (i.e. 17 a 25). Nótese que en este caso el coeficiente desciende a alrededor de 0.5.

Tabla 6. Coeficientes α de Cronbach

Prueba	N.Items	N	Inferior	alpha	Superior
	13	886	0.43	0.48	0.53

Figura 6. Curvas de Cronbach-Mesbah sin ítems 17 a 25.

Puede apreciarse un comportamiento similar en los ítems 12 y 13, que parecen asociarse de forma diferente al resto de ítems en la prueba. Teniendo en cuenta esto, la figura 7 presenta la curva excluyendo también estos ítems. Nótese que ya no se observa ningún “codo” y que en este caso el coeficiente desciende a alrededor de 0.45. La ausencia de codo indica que los ítems remanentes hacen referencia a un mismo constructo (o variable latente).

Tabla 7: Coeficientes α de Cronbach por prueba

Prueba	N.Items	N	Inferior	alpha	Superior
	11	886	0.40	0.45	0.50

Figura 7. Curvas de Cronbach-Mesbah por prueba sin ítems 12 y 13.

Referencias:

Basado en un reporte realizado por Sandra Liliana Camargo. Psicómetra.

Análisis de ítems: ejemplo

A manera de ejemplo, a continuación se presentan los resultados del análisis de una prueba.

Para realizar los análisis se excluyeron 22 personas que no alcanzaron a terminar toda la prueba y 5 adicionales que tuvieron trece o más preguntas omitidas.

Las tablas 1 a 3 presentan el flujo de opciones por cantidad y tipo de opciones de respuesta; este corresponde al porcentaje de evaluados que eligió cada una de las opciones de respuesta, también se incluyen el porcentaje de participantes con omisión en la pregunta y aquellos que marcaron más de una opción de respuesta. La clave indica cuál era la respuesta correcta.

Tabla 1. Flujo de opciones - Selección múltiple

Ítem	# Opciones	Clave	Opciones				Opciones Inválidas
			A	B	C	D	Multimarca	Omisión
1	3	A	36.3	40.6	14.9		0.2	7.9
2	3	C	38.5	36.2	17.8		0.2	7.2
3	3	B	20.7	25.2	45.3		0.6	8.4
4	3	B	16.0	27.4	48.1		0.3	8.1
5	3	A	22.9	38.0	30.5		0.5	8.1
6	4	B	6.9	66.5	9.8	10.3	3.2	3.4
12	2	A	68.1	26.6			3.2	2.1
13	2	B	35.6	56.9			2.9	4.6
15	4	D	8.5	20.5	10.4	42.9	3.7	14.0
16	3	C	14.4	31.2	26.5		0.5	27.4
17	2	B	64.4	32.6			1.2	1.7
18	2	A	74.2	20.9			1.1	3.8
19	2	B	67.5	28.4			1.2	2.8
20	2	A	76.1	20.5			1.5	1.9
21	2	B	8.8	87.7			0.3	3.2
22	2	B	9.5	85.9			0.8	3.8
23	2	A	88.8	7.6			1.4	2.3
24	2	B	9.4	86.1			1.5	3.0
25	2	B	8.1	89.2			1.1	1.6

 Tabla 2. Flujo de opciones - Falso/Verdadero

Ítem	Clave	Verdadero	Falso	Omisión
9	F	57.3	39.5	3.2
10	F	41.3	55.6	3.0
11	F	49.5	45.9	4.5

Tabla 3. Flujo de opciones - Múltiple respuesta/Abierta

Ítem	Clave	Correcto	Incorrecto	Omisión
7	3214	30.6	60.6	8.8
8	C	64.3	23.9	11.7
14	ommm	23.8	66.8	9.4

Los análisis por flujo de opciones para cada una de las preguntas muestran que los distractores (opciones no correctas pero que deben ser plausibles como respuestas) de cada ítem atraen a proporciones importantes de los participantes que no eligen la opción correcta (clave), lo cual es el comportamiento apropiado de una pregunta. Se puede afirmar, entonces, que al no tener grandes diferencias entre las proporciones de cada opción, la mayoría de las opciones de los ítems presentan un comportamiento adecuado; sin embargo, es relevante revisar los ítems del 21 al 25, para los cuales una de las opciones no resulta atractiva para los participantes, lo que hace que estas preguntas sean muy fáciles. Por otra parte, el porcentaje de omisiones presentado en los ítems 15 y 16, sugiere que efectivamente no tienen la habilidad, pero también podría significar que las preguntas son confusas o que los participantes no saben qué tienen que hacer.

La tabla 4 presenta las estadísticas asociadas con la clave del ítem, es decir, su dificultad, discriminación, correlación ítem-prueba y confiabilidad:

·     La dificultad es la proporción de individuos que responde correctamente al ítem; se consideran como valores apropiados dificultades entre 0.2 y 0.8.

·     La discriminación es la diferencia entre las proporciones de aciertos del grupo de individuos con buen desempeño y del grupo con mal desempeño en la prueba. Se usó la tercera parte de los individuos con mayor número de respuestas correctas como grupo de buen desempeño, y la tercera parte con menor número de respuestas correctas como el grupo de mal desempeño. Se consideran valores apropiados discriminaciones superiores a 0.3, valores regulares entre 0.2 y 0.3, y valores inaceptables los inferiores a 0.2.

·     La correlación ítem-prueba empleada fue la correlación punto-biserial (r_pbis), donde el número de respuestas correctas en la prueba se calculó incluyendo y excluyendo al ítem; esta medida indica qué tan fuerte es la asociación entre acertar al ítem y tener un buen desempeño en la prueba. Son valores apropiados de correlación ítem-prueba los positivos, pero es preferible si son mayores a 0.3.

·        La confiabilidad del ítem corresponde al aporte del ítem a la varianza de la prueba en conjunto y por esta vía a la consistencia interna de los puntajes; esta estadística depende de la dificultad del ítem y de la correlación ítem-prueba. Teniendo en cuenta los valores apropiados para estas estadísticas, son valores deseables para la confiabilidad del ítem aquellos que sean superiores a 0.12.

Tabla 4. Estadísticas de los ítems.

Ítem	Dificultad	Discriminación	r	r Excl.Ítem	Confiabilidad. ítem	Confiabilidad. Excl.Ítem	Revisar / Eliminar
1	0.36	0.39	0.35	0.21	0.17	0.10
2	0.18	0.20	0.27	0.15	0.10	0.06	*
3	0.25	0.21	0.22	0.09	0.10	0.04	*
4	0.27	0.23	0.27	0.14	0.12	0.06	*
5	0.23	0.18	0.20	0.08	0.09	0.03	**
6	0.66	0.38	0.35	0.21	0.16	0.10
7	0.31	0.38	0.36	0.23	0.17	0.10
8	0.64	0.44	0.39	0.26	0.19	0.12
9	0.40	0.19	0.16	0.02	0.08	0.01	**
10	0.56	0.20	0.19	0.04	0.09	0.02	**
11	0.46	0.18	0.17	0.02	0.09	0.01	**
12	0.68	0.34	0.33	0.20	0.16	0.09
13	0.57	0.37	0.35	0.21	0.17	0.10
14	0.24	0.25	0.29	0.17	0.13	0.07	*
15	0.43	0.39	0.35	0.21	0.17	0.10
16	0.27	0.24	0.27	0.14	0.12	0.06	*
17	0.33	0.21	0.20	0.06	0.09	0.03	**
18	0.74	0.33	0.34	0.22	0.15	0.10
19	0.28	0.22	0.23	0.10	0.11	0.04	*
20	0.76	0.41	0.40	0.28	0.17	0.12
21	0.88	0.26	0.37	0.28	0.12	0.09	*
22	0.86	0.27	0.39	0.29	0.13	0.10	*
23	0.89	0.27	0.41	0.32	0.13	0.10	*
24	0.86	0.34	0.47	0.38	0.16	0.13	*
25	0.89	0.20	0.33	0.24	0.10	0.08	*

Un “∗” indica que el ítem debe ser revisado y “∗∗” que debiera ser eliminado  

De acuerdo con el análisis de dificultad, discriminación, correlación ítem-prueba con y sin el ítem y la confiabilidad con y sin el ítem, se recomienda:

·       Eliminar los ítems 5, 9, 11 y 25 ya que no logran discriminar si la persona sabe o no sobre el tema que se les está preguntando y la relación del ítem con la prueba es muy baja, es decir, el ítem no está midiendo lo mismo que la prueba.

·    Los ítems 2, 3, 4, 10, 14, 16, 17, 19, 21, 22, 23 y 24 deben ser revisados ya sea por el índice de dificultad que presentan, muy fáciles o muy difíciles, o porque están midiendo otra variable diferente a la que mide la prueba.

·       Los ítems 1, 6, 7, 8, 12, 15, 18 y 20 presentan índices adecuados a lo deseable, por lo cual se sugiere dejarlos sin mayor cambio.

Figura 3. Dificultades y orden de dificultad

En la figura 3 se presenta la relación entre las dificultades de los ítems y su orden de menor a mayor para la prueba. La recta representa la dificultad que tendrían las preguntas si estuvieran igualmente repartidas entre la mínima y la máxima dificultades apropiadas (0.2 y 0.8). Esta gráfica permite apreciar que la distribución de las dificultades de los ítems 1, 4, 7, 9, 15, 17  y 19 tienden a estar alta, mientras que para los ítems 6, 8, 12, 18, 20, 21, 22, 23, 24 y 25 la dificultad tiende a ser baja. En general se observa que la prueba no es equilibrada respecto a la dificultad, ya que se ve más cargada de ítems fáciles.

Figura 4. Dificultad y discriminación

La figura 4 presenta las dificultades y discriminaciones de los ítems; en ellas se señalan cuáles ítems debieran ser revisados y cuáles debieran ser eliminados de la prueba en virtud de las estadísticas obtenidas. Se observa, entonces, que 9 ítems presentan un buen comportamiento con relación a la clave, 12 ítems debieran ser revisados y 4 ítem se podrían eliminar, tal como se muestra en la tabla 4.

(continúa...)

Referencias:

Basado en un reporte realizado por Sandra Liliana Camargo. Psicómetra.