Tensorflow Object Detection, una mirada a las publicaciones en Facebook

En historias anteriores detectamos algunos objetos dentro de una imagen, luego hicimos una extensión para analizar un video, de forma muy rudimentaria, pero funcional y hoy tenemos otro desafío. ¿Podemos conocer algo del enfoque social utilizando las imágenes compartidas en alguna de las redes sociales disponibles?. ¿Podríamos realizar esta operación explorando el stream social?


Vamos a asumir que no analizamos contexto real de la situación, solo vamos a concentrarnos en las imágenes de publicaciones compartidas, igualmente este esquema sirve para iniciar el análisis sobre el marco social. Vamos a utilizar un enlace a Facebook para nuestra solución.


Diagrama general de operaciones:

Operaciones a realizar:

1. Enlace a un usuario social 
2. Lectura y exploración de cada publicación. 
3. Extracción de la imagen 
4. Análisis de la imagen 
5. Agrupación de las etiquetas detectadas.

Veamos la implementación propuesta, análisis sobre mi propio perfil. Exploración de 40 post de las últimas semanas sobre mi perfil.

Log de salida siguiendo las operaciones propuestas:

Información modelada en columnas con una línea de tiempo sobre las publicaciones:

Nota: he agrupado algunos conceptos frutas, comidas, automotor, personas y snack. Línea de contenidos compartidos desde las imágenes asociadas a cada post.

Vamos a utilizar una publicación del 19/06/2016, donde disfrutamos una tarde de snack en familia.

Publicación social:

Análisis de imagen visual:

Arreglo de conceptos detectados y su valor de confianza: [{u’cup': 99}, {u'cup': 99}, {u'person': 86}, {u'person': 77}, {u'wine glass': 76}, {u'dining table': 69}, {u'chair': 56}, {u'potted plant': 53}]


Conclusiones obtenidas:

Hay mucho por mejorar en este campo, el contexto de la información recibida, el filtro por publicaciones personales o compartidas, la agrupación por elementos más representativos y muchas variaciones más. Pero para resolver nuestro desafío fue una buena propuesta, tenemos una visión general de análisis social.(Facebook en este caso pero podríamos incorporar otras redes dependiendo la cantidad de información social deseada)


Implementación:

La rutina recibe, el usuario a examinar, la cantidad de posts, y el token para usar la Graph API (Facebook). Aquí la implementación:

Tecnología utilizada:

• Tensorflow 1.2.1 (object detection api)
• COCO model, faster_rcnn_inception_resnet_v2_atrous_coco_11_06_2017
• Python Facebook-sdk

Una pregunta final aún abierta, podríamos mejorar el ambiente y empatía en encuentros personales conociendo la información social de las personas?

Tensorflow Object Detection, una mirada las publicaciones en Facebook por Nicolas Bortolotti se distribuye bajo una Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.