La Universidad Complutense de Madrid (UCM) ha certificado que el modelo de IA desarrollado por LLYC para medir la polaridad reputacional en la conversación social «supera en hasta 20 puntos de accuracy o exactitud al de los principales referentes del mercado (Amazon, Azure, Google e IBM)».
En concreto, arroja un nivel de 0,66 frente al rango de entre 0,42 y 0,53 en el que se sitúan las herramientas rivales probadas. El modelo está entrenado con más de 130.000 mensajes etiquetados manualmente, como informa la firma global de consultoría Llorente y Cuenca en una nota de prensa enviada a los medios hoy martes 23 de enero de 2024.
“Los resultados que arroja la auditoría de la Universidad Complutense de Madrid son un espaldarazo al trabajo que ha hecho LLYC en los últimos años en materia de innovación. Suponen una clara mejora de lo que había hasta ahora en el mercado. Sin duda, lograr el modelo más eficaz a la hora de medir la reputación en las redes sociales será muy útil para nuestros clientes“.
Daniel Fernández Trejo, Director General de Deep Learning en LLYC
Así se ha desarrollado el proyecto de polaridad reputacional de LLYC
El comunicado explica que en el desarrollo de su modelo de IA para medir la polaridad reputacional en la conversación social, LLYC empezó a analizar en profundidad la conversación social digital el 2010. Desde entonces la firma se dio cuenta de que la métrica de sentimiento que ofrecían (y ofrecen) las social listening platforms (SLP), no resulta demasiado útil para evaluar la evolución de la reputación de una marca o empresa. «Estoy muy triste por el fallecimiento de Tina Turner» es un mensaje de sentimiento negativo que, sin embargo, refleja una polaridad reputacional positiva del autor hacia Tina Turner.
De este modo, «los niveles de error para medir el daño o mejora reputacional ante un issue de cliente eran tales, que para obtener una métrica fiable, era necesario un análisis humano». «El análisis humano es más preciso, pero, no escala (no pueden abordar grandes volúmenes de datos), es más lento y más caro. Aun así, era el que se usó en metodologías y herramientas de medición desarrolladas por LLYC de aquella época, como, por ejemplo, el MRO», enumera.
En 2021, confluyen tres circunstancias que abren una ventana de oportunidad en LLYC para mejorar drásticamente sus capacidades de medición y análisis de la reputación. Por un lado, el Área de Tecnología (ahora Deep Learning) «comienza a consolidarse y dota a la firma de unas capacidades tecnológicas con las que anteriormente no contaba».
Por otro, recuerda que «el estado del arte en procesado de lenguaje natural (NLP) ha madurado una serie de tecnologías (los Transformers) que han supuesto un salto disruptivo en la capacidad de las máquinas para comprender el lenguaje humano».
Y por último, gracias a la utilización de herramientas como el MRO a lo largo de los 10 últimos años, LLYC afirma que «cuenta con una base de datos de más de 120.000 mensajes cuidadosamente clasificados por expertos en comunicación de acuerdo a la polaridad reputacional que expresan».
Medición automática y precisa de la reputación
¿Podría la tecnología actual (Transformers), manejada por un nuevo expertise en la casa (Área de Tecnología) ser entrenada con el conocimiento acumulado (los 120.000 mensajes) para poder medir la reputación de manera automática y con precisión?
Para dar respuesta a la anterior pregunta, LLYC explica que se abrió un proyecto de innovación que adoptó el nombre clave Gea, cuyo propósito era entrenar una Inteligencia Artificial de última generación «con el conocimiento de LLYC sobre la polaridad de reputación». La información procedente del MRO «era una buena base, aunque se descubrió que no suficiente para explotar todas las posibilidades que ofrecía la tecnología: se necesitaban más datos».
Así, se diseñó una nueva etapa de análisis humano, en la que participaron más de 300 profesionales de, por aquel entonces, Deep Digital, con el propósito de clasificar 130.000 mensajes adicionales con los que llevar un mejor entrenamiento de la IA del Proyecto Gea.
«El trabajo ha dado resultado. Ahora la Universidad Complutense de Madrid certifica que el modelo de IA propio desarrollado por LLYC mide la polaridad reputacional con mayor exactitud que el resto de las herramientas del mercado», concluye la nota de prensa de la firma global de consultoría,
