Un experimento de small data: black to de future

TL:DR Este es un relato de cómo montamos el bot de Twitter que retransmite con 10 años de retraso los gastos de las tarjetas black. Puedes leer también el post que ha escrito Alfonso con los detalles técnicos del desarrollo.

Desde hace un tiempo nos rondaba en Montera34 a Alfonso y a mi la idea de ponernos de nuevo con los datos de las tarjetas black. El juicio donde se juzgaba a los directivos de Caja Madrid y Bankia que habían usado sus tarjetas opacas a Hacienda estaba a punto de acabar. Todavía teníamos un pequeño margen antes de las deliberaciones finales y la sentencia.

En vez de analizar los datos en su conjunto otra vez ¿por qué no cambiar la forma de acercarse a los datos y fomentar ver el detalle de cada gasto? Nos parecía  interesante poder tratar los gastos uno a uno y entender cuándo y cómo sucedían. Un ejercicio de “smalldata para hacer mininarrativas con tamaño tuit de cada gasto.

La fechas no podían ser peores. Las navidades se acercaban, hacía falta cerrar varios proyectos, líos familiares… un tiempo perfecto para hacer un proyecto en modo exprés y en abierto.

Alfonso reutilizó algo de código de otro proyecto para hacer una página que publicaba los gastos del día. Por suerte teníamos ya los datos recopilados en un único archivo de la otra visualización: unos 75.000+ gastos clasificados por usuario, comercio, tipo de actividad…

A partir de esta primer boceto surgían algunas preguntas ¿se podían buscar otras fechas u otras distancias de años además de la década de distancia?
En principio nos gustó la idea que ahora parece obvia: ofrecer pocos datos para centrar la atención del usuario. Diez años es una cifra fácilmente inteligible por cualquiera.

Luego teníamos que resolver dónde ibamos a publicar la web. El subdominio lab.montera34.com podía valer. Tras un poco de tuneo a los estilos la web empezaba a tomar forma:

Por el camino surgió algo que también parece obvio ahora y que hacía casi todo lo demás del proyecto redundante. Tras comentar con Martín (@martgnz) el proyecto @censusamericans, que convierte cada hora una línea del censo en un tuit, del tipo “I had a baby last year. I don’t have health insurance. I am divorced. I moved last year. I got married in 2000.” nos sugirió tuitear en directo los gastos de las tarjetas black en riguroso directo en diferido.

Ya sólo nos faltaba desarrollar el bot para Twitter… y alguna cosa más.

Nos faltaba un nombre e imagen con gancho. Gracias a hacer el desarrollo del proyecto en abierto Guille nos sugirió Black to the Future. Lo españolizamos a @BlacktoDeFuture y así lo reducíamos a los caracteres necesarios para que cupiera en el nombre de una cuenta de Twitter. Nos gustaba también el Black2thefuture que proponía @jorgelamb, pero ya estaba pillado.

En apenas un hora, modificando el cartel original de Regreso al futuro que nos pasó Guille y una tipografía similar a la original que encontramos por ahí ¡Ya lo teníamos!

Mientras Alfonso cocinaba el bot hecho en Python me dediqué a lanzar la web para preparar la llegada del bot de Twitter. Publicar los gastos en una sola frase requería algunos retoques. A veces el nombre comercio no figuraba, pero sí el tipo de actividad (cajero, disposición en efectivo…). Con unas cuantas sentencias condicionales en PHP quedaba arreglado. También aproveche mis conocimientos recién adquiridos de R para reordenar todos los gasos por días y hora, así saldrían ordenados en la página de gastos del día.

Ya por entonces nos habíamos dado cuenta de que la web molaba, y mucho, pero que lo realmente iba a funcionar era el bot de Twitter. La web sería la partitura diaría que el bot tiene que seguir. La cuenta de Twitter permitiría seguir en “tiempo real” lo que gastaban los directivos de las black. Unos días después empezabámos a retransmitir:

En resumen, acabábamos de lanzar desde Montera34 un bot que tuiteaba todos los gastos de las tarjetas black con 10 años de retraso. Riguroso directo en diferido. Un viaje en el tiempo a otra era. Un viaje a 2006, un país que todavía no se enteraba de que la burbuja inmobiliaria y muchas otras cosas iban a estallar: @BlacktodeFuture.

Hay gastos de las tarjetas black anotados hasta el 29 de agosto de 2012:

2012-08-29 | 14:18:45 | APARCAMIENTO MONTALBAN | GARAJES,RESTO DE APARCAMIENTOS | 15.8€ | COMPRA | Miguel Ángel Abejón Resa

Quién sabe, quizás para el año 2022 todavía sigue funcionando nuestra máquina del tiempo y vayamos a celebrar el fin de su viaje al aparcamiento de la calle Montalbán en Madrid.

Continue reading

Asignar valores aleatorios a la posición vertical para ver datos pequeños o superpuestos

Posición aleatoria para poder ver cantidades pequeñas

Ya probé esta solución con las notas de Bárcenas, donde había que comparar cantidades desde 100 a casi 300.000 euros. En el caso de las tarjetas opacas o “tarjetas black” de Caja Madrid-Bankia pasa lo mismo: se combinan cantidades de 18 euros con otras de 16.000 euros.

Como las cantidades pequeñas quedan “tapadas” por las grandes, si se asigna una posición aleatoria en el eje vertical y se manteniene la posición en el eje horizontal (tiempo) permite dar visibilidad a las cantidades más pequeñas y entender la información de otra manera. Para ello he asignado la función al botón “Posición vertical aleatoria”. Puedes probarlo en numeroteca.org/tarjetasblack.

Asignar valores aleatorios a la posición vertical para ver datos pequeños o superpuestos
Asignar valores aleatorios a la posición vertical para ver datos pequeños o superpuestos.
Carmen Contreras era también previsible: cada verano Hotel Barrosa Park (Chiclana)

Hacer visualización vs Contar historias

No está reñido hacer una visualización y contar una historia. De hecho, las visualizaciones de datos deberían ayudar a contar historias o por lo menos a entender cosas que la simple observación de los datos (números, palabras) no permite. La visualización que he desarrollado para los gastos de las ‘tarjetas black’ de Caja Madrid y Bankia es un intento de ver los gastos de forma visual ordenados en el tiempo.

Según lo veo, esta visualización es una herramienta para contar historias. Para dar ejemplo he contado unas cuantas en Historias de las ‘tarjetas black’ de Caja Madrid, en un largo scroll vertical. A ver qué os parece.

En resumen: hace falta hacer el relato (texto) del relato (visualización) para llegar a la gente, o, al menos, para facilitar que empiecen a interpretar los datos por su cuenta.

Os dejo con algunas de las imágenes.:

Primera "diapositiva" del scroll de las Historias de las 'tarjetas black'
Primera “diapositiva” del scroll de las Historias de las ‘tarjetas black’.
Una historia que cuentan los datos... por ausencia de ellos
Una historia que cuentan los datos… por ausencia de ellos. En Cinco Días más infomación.
Explicación de cómo funciona el gráfico interactivo de las #tarjetasblack
Explicación de cómo funciona el gráfico interactivo de las #tarjetasblack.
Carmen Contreras era también previsible: cada verano Hotel Barrosa Park (Chiclana)
Carmen Contreras era también previsible: cada verano Hotel Barrosa Park (Chiclana).

Puedes ver el resto de historias en numeroteca.org/tarjetasblack/historias

Posdata: a riesgo de repetirme, no basta con hacer una visualización, hace falta contar las historias que emergen de esos gráficos. Es, casi siempre, un trabajo colaborativo. Hace falta recopilar los datos, limpiarlos, preparar las visualizaciones, contar las historias que esconden y, no menos importante, difundirlas. Este post viene a ser el relato del relato (histoiras de las tarjetas black) del relato (visualización de datos).

¿Os animais a contar vuestras historias a partir de estas visualizaciones en #historiastarjetasblack? ¿y a colaborar mejorando el código?