La inexactitud de la IA generativa y su tendencia hacia la opacidad

Los modelos de lenguaje grande (LLM, de sus siglas inglesas), las plataformas algorítmicas sobre las que se construyen las herramientas de inteligencia artificial (IA) generativa, como ChatGPT, son muy inexactos cuando se conectan a bases de datos corporativas y se vuelven menos transparentes, según dos estudios.

El primero, realizado por la Universidad de Stanford, ha demostrado que a medida que los LLM continúan ingiriendo cantidades masivas de información y crecen en tamaño, la génesis de los datos que utilizan se vuelve más difícil de rastrear. Eso, a su vez, dificulta que las empresas sepan si pueden crear de forma segura aplicaciones que utilicen modelos comerciales básicos de IA generativa y que los académicos confíen en ellos para realizar investigaciones.

También hace que sea más difícil para los legisladores diseñar políticas significativas para controlar la poderosa tecnología y “para que los consumidores comprendan las limitaciones del modelo o busquen reparación por los daños causados”, según el informe. Los LLM como GPT, LLaMA y DALL-E surgieron durante el año pasado y han transformado la IA otorgando un impulso en productividad y eficiencia. Pero esos beneficios vienen acompañados de una gran dosis de incertidumbre.

“La transparencia es una condición previa esencial para la responsabilidad pública, la innovación científica y la gobernanza eficaz de las tecnologías digitales”, según Rishi Bommasani, líder social del Centro de Investigación sobre Modelos de Fundaciones de Stanford. “La falta de transparencia ha sido durante mucho tiempo un problema para los consumidores de tecnologías digitales”. Por ejemplo, anuncios y precios engañosos en línea, prácticas salariales poco claras en viajes compartidos, patrones oscuros que engañan a los usuarios para que realicen compras sin saberlo y una gran cantidad de problemas de transparencia en torno a la moderación de contenido han creado un vasto ecosistema de información errónea y desinformación en redes sociales, tal y como expresa Bommasani. “A medida que disminuye la transparencia en torno a los modelos comerciales, enfrentamos tipos similares de amenazas a la protección del consumidor”

Por ejemplo, OpenAI, que tiene la palabra “abierto” en su nombre, ha declarado claramente que no será transparente sobre la mayoría de los aspectos de su modelo insignia, GPT-4, señalan los investigadores de Stanford. Para evaluar la transparencia, la universidad ha examinado 10 LLM y ha encontrado que la puntuación media de transparencia era solo del 37%. LLaMA obtuvo la puntuación más alta, con una calificación de transparencia del 52%; Le siguieron GPT-4 y PaLM 2, que obtuvieron una puntuación del 48% y el 47%, respectivamente.

"Si no hay transparencia, los reguladores ni siquiera pueden plantear las preguntas correctas, y mucho menos tomar medidas en estas áreas", afirmó Bommasani. Mientras tanto, casi todos los jefes senior (95%) creen que los empleados utilizan regularmente las herramientas genAI, y más de la mitad (53%) dice que ahora están impulsando ciertos departamentos comerciales, según una encuesta separada realizada por el proveedor de ciberseguridad y antivirus Kaspersky Lab. Ese estudio encontró que el 59% de los ejecutivos ahora expresan profundas preocupaciones sobre los riesgos de seguridad relacionados con la genAI que podrían poner en peligro información confidencial de la empresa y conducir a una pérdida de control de las funciones comerciales centrales.

El problema de los LLM va más allá de la simple transparencia; La precisión general de los modelos ha sido cuestionada casi desde el momento en que OpenAI lanzó ChatGPT hace un año. Juan Sequeda, jefe del Laboratorio de IA de data.world, un proveedor de plataformas de catalogación de datos, dijo que su empresa probó LLM conectados a bases de datos SQL y con la tarea de proporcionar respuestas a preguntas específicas de la empresa. Utilizando datos de compañías de seguros del mundo real, el estudio de data.world mostró que los LLM brindan respuestas precisas a la mayoría de las consultas comerciales básicas solo el 22% de las veces. Y para consultas de nivel intermedio y experto, la precisión se desplomó al 0%. 

La ausencia de puntos de referencia adecuados de texto a SQL adaptados a entornos empresariales puede estar afectando la capacidad de los LLM para responder con precisión a las preguntas o "indicaciones" de los usuarios.

Las empresas invierten millones de dólares en almacenes de datos en la nube, inteligencia empresarial, herramientas de visualización y sistemas ETL y ELT, todo para poder aprovechar mejor los datos, señaló Sequeda. Poder utilizar LLM para hacer preguntas sobre esos datos abre enormes posibilidades para mejorar procesos como indicadores clave de desempeño, métricas y planificación estratégica, o crear aplicaciones completamente nuevas que aprovechen la profunda experiencia en el dominio para crear más valor.

El estudio se centró principalmente en la respuesta a preguntas utilizando GPT-4, con mensajes instantáneos directamente en bases de datos SQL. ¿La tasa de precisión? Sólo el 16%. El efecto neto de respuestas inexactas basadas en bases de datos corporativas es una erosión de la confianza. “¿Qué sucede si presenta a la junta números que no son exactos? ¿O la SEC? En cada caso, el costo sería alto”, dijo Sequeda.

El problema con los LLM es que son máquinas estadísticas y de coincidencia de patrones que predicen la siguiente palabra en función de las palabras anteriores. Sus predicciones se basan en la observación de patrones de todo el contenido de la web abierta. Debido a que la web abierta es esencialmente un conjunto de datos muy grande, el LLM arrojará cosas que parecen muy plausibles pero que también pueden ser inexactas, según Sequeda.

“Una razón posterior es que los modelos sólo hacen predicciones basadas en los patrones que han visto. ¿Qué sucede si no han visto patrones específicos de su empresa? Bueno, la inexactitud aumenta”, afirmó. "Si las empresas intentan implementar LLM a una escala significativa sin abordar la precisión, las iniciativas fracasarán", continuó Sequeda. “Los usuarios pronto descubrirán que no pueden confiar en los LLM y dejarán de usarlos. Hemos visto un patrón similar en datos y análisis a lo largo de los años”.

La precisión de los LLM aumentó al 54 % cuando las preguntas se plantean sobre una representación de Knowledge Graph de la base de datos SQL empresarial. "Por lo tanto, invertir en proveedores de Knowledge Graph aumenta la precisión de los sistemas de respuesta a preguntas basados ??en LLM", dijo Sequeda. “Aún no está claro por qué sucede esto, porque no sabemos qué está pasando dentro del LLM.

"Lo que sí sabemos es que si le da a un LLM una indicación con la ontología mapeada dentro de un gráfico de conocimiento, que contiene el contexto comercial crítico, la precisión es tres veces mayor que si no lo hace", continuó Sequeda. "Sin embargo, es importante preguntarnos qué significa 'suficientemente preciso'".

Para aumentar la posibilidad de respuestas precisas de los LLM, las empresas deben tener una “base de datos sólida”, o lo que Sequeda y otros llaman datos listos para IA; eso significa que los datos se mapean en un Gráfico de conocimiento para aumentar la precisión de las respuestas y garantizar que haya explicabilidad, "lo que significa que puedes hacer que el LLM muestre su trabajo".

Otra forma de aumentar la precisión del modelo sería utilizar modelos de lenguaje pequeño (SLM) o incluso modelos de lenguaje específicos de la industria (ILM). "Puedo ver un futuro en el que cada empresa aproveche una serie de LLM específicos, cada uno de ellos adaptado a tipos específicos de respuesta a preguntas", dijo Sequeda. “Sin embargo, el enfoque sigue siendo el mismo: predecir la siguiente palabra. Esa predicción puede ser alta, pero siempre habrá una posibilidad de que sea incorrecta”. Cada empresa también debe garantizar la supervisión y la gobernanza para evitar que modelos que no son predecibles pongan en riesgo información confidencial y patentada, dijo Sequeda.