Tom Siebel ve "aterradoras consecuencias" en el uso de la IA

Durante la primera jornada de la conferencia EmTech Digital de MIT Technology Review, que está teniendo lugar entre ayer y hoy en Cambridge (Massachusetts, Estados Unidos) ponentes que van desde desarrolladores de inteligencia artificial (IA) hasta profesionales de bufetes de abogados abordaron cuestiones sobre la eficacia y la ética de la IA. Entre los que tenían una visión algo alarmista de la tecnología (y de los esfuerzos reguladores para frenarla) se encontraba Tom Siebel, CEO de C3 AI y fundador del proveedor de CRM Siebel Systems.

Siebel estaba presente para dar su visión de cómo las empresas pueden prepararse para una oleada de normativas sobre IA, pero en sus comentarios de ayer abordó varios aspectos que centran el debate sobre la IA generativa, lo que incluye la ética de su aplicación, cómo puede evolucionar esta y por qué puede ser peligrosa.

Durante unos 30 minutos, el redactor jefe de MIT Technology Review, Mat Honan, y varios asistentes a la conferencia plantearon preguntas a Siebel, empezando por cuáles son los usos éticos y no éticos de la IA. La conversación giró rápidamente en torno al potencial de la IA para causar daños a escala mundial, así como a la tarea casi imposible de establecer barreras de protección contra su uso con fines nefastos, intencionados o no. A continuación, exponemos algunos extractos de la conversación.

A la pregunta de Honan de “¿Qué es la IA ética, cuáles son los usos éticos de la IA o incluso los usos no éticos de la IA?”, Siebel respondió que "en los últimos 15 años nos hemos gastado un par de miles de millones de dólares en construir un conjunto de software que utilizamos para diseñar, desarrollar, suministrar y operar a gran escala aplicaciones empresariales de análisis predictivo. Entonces, ¿cuáles son las aplicaciones de estas tecnologías en las que no creo que tengamos que lidiar con prejuicios y donde no tendremos problemas éticos? Creo que siempre que tratamos con sistemas físicos, abordamos la presión, temperatura, velocidad, torsión, velocidad de rotación. No creo que tengamos problemas éticos. Por ejemplo, estamos utilizándola para una de las mayores aplicaciones comerciales de la IA, el área del mantenimiento predictivo”.

“Tanto si se trata de activos de generación y distribución de energía en la red eléctrica como de mantenimiento predictivo para plataformas petrolíferas en alta mar, donde los datos son conjuntos de datos extraordinariamente grandes a los que llegamos a una velocidad muy rápida, estamos construyendo modelos de aprendizaje automático que van a identificar el fallo de un dispositivo antes de que ocurra (evitando un fallo de, digamos, una plataforma petrolífera en alta mar de Shell, el coste sería incalculable. No creo que haya problemas éticos. Creo que en eso estamos de acuerdo). Ahora bien, cuando llegamos a la intersección de la inteligencia artificial y la sociología, el tema se pone muy delicado muy rápido. Aquí es donde se perpetúan los prejuicios culturales. Puedo dar ejemplos concretos, pero parece que fue ayer (a principios de este año) cuando surgió este negocio de la IA generativa. ¿Es la IA generativa una tecnología interesante? Lo es. ¿Son importantes estos grandes modelos lingüísticos? Lo son”, añadió.

"Las redes sociales pueden ser el invento más destructivo de la historia de la humanidad. Y todo el mundo lo sabe. No necesitamos ChatGPT para eso"

“Ahora, de repente, alguien se ha despertado y ha descubierto que hay problemas éticos asociados con la IA. Quiero decir, hemos tenido estos problemas desde hace muchos, muchos años. Yo no tengo un smartphone en mi bolsillo porque me lo quitaron al entrar, pero ¿qué hay de las redes sociales? Las redes sociales pueden ser el invento más destructivo de la historia de la humanidad. Y todo el mundo lo sabe. No necesitamos ChatGPT para eso. Por lo tanto, es una aplicación poco ética de la IA. Quiero decir que estamos utilizando los smartphones que todo el mundo lleva en el bolsillo para manipular a dos o tres mil millones de personas, manipular el sistema límbico de su cerebro, se utiliza esto para regular la liberación de dopamina. Hay personas adictas a estas tecnologías. Sabemos que causa un enorme problema de salud, especialmente entre las mujeres jóvenes. Sabemos que causa suicidio, depresión, soledad, problemas de imagen corporal (documentados). Sabemos que estos sistemas son el principal intercambio para el comercio de esclavos en Oriente Medio y Asia. Estos sistemas ponen en entredicho nuestra capacidad para llevar a cabo una sociedad democrática libre y abierta. ¿Alguien tiene un problema ético con eso? Y eso es lo viejo. Ahora entramos en lo nuevo”, aseveró.

Siebel habló de las peticiones que desde el Gobierno de Estados Unidos ha recibido su empresa. "¿Dónde nos han planteado problemas? Estoy en Washington DC. y no diré de qué departamento o Administración, pero es una oficina grande. Hacemos mucho trabajo en el Beltway, en aspectos como logística, mantenimiento predictivo basado en IA para los activos en la Fuerza Aérea de los Estados Unidos, cuadros de mando de mando y control, para SOCOM (Comando de Operaciones Especiales), TransCom (Comando de Transporte), Guardia Nacional, cosas por el estilo. Me encontraba en esta importante oficina y su asesora civil, que es doctora en psicología del comportamiento, empezó a hacerme preguntas cada vez más incómodas. La tercera pregunta fue: ‘Tom, ¿podemos usar tu sistema para identificar extremistas en la población de Estados Unidos?’. Yo, como un santo, '¿qué es un extremista? ¿Tal vez un hombre blanco cristiano?' Me limité a decir: 'Lo siento, no me siento cómodo con esta conversación. Estás hablando con la persona equivocada. No quiero mantener esta charla’. Ahora, tengo un competidor que haría esa transacción en un santiamén. En la actualidad, si tenemos la oportunidad de trabajar para el Gobierno de Estados Unidos, lo hacemos. Estaba en una reunión (no con esta Administración) sino con el subsecretario del Ejército en California, y me dijo: 'Tom, queremos utilizar tu sistema para construir un sistema de recursos humanos basado en IA para el Departamento del Ejército'. Le contesté: 'Vale, dime cuál es la escala de este sistema'. El Departamento del Ejército tiene alrededor de un millón y medio de personas cuando llegas a las reservas. Le dije: '¿Qué va a hacer este sistema?' Me contestó: 'Vamos a tomar decisiones sobre a quién asignar a un puesto y a quién ascender'. Le comenté: "Señor secretario, es una idea muy mala". El problema es que sí podemos construir el sistema, y sí podemos tenerlo a escala del Departamento del Ejército en unos seis meses. El problema es que tenemos este asunto en los datos que se llama 'sesgo cultural'. El problema es que no importa cuál sea la pregunta, la respuesta va a ser: blanco, hombre, fue a West Point. En 2020 o 2021 (sea el año que sea) eso simplemente no va a pasar. Entonces tendremos que leer sobre nosotros mismos en la portada del New York Times; nos arrastrarán ante el Congreso para testificar, y yo no voy contigo. Esto es lo que yo describiría como el uso poco ético de la IA".

"La mayor aplicación comercial de la IA será la salud de precisión"

Siebel también habló sobre el uso de la IA en la salud predictiva: "Hablemos de uno que me preocupa especialmente. La mayor aplicación comercial de la IA será la salud de precisión. De eso no hay duda. Hay un gran proyecto en marcha en el Reino Unido, ahora mismo, que puede rondar los 400 millones de libras. Hay un proyecto de mil millones de dólares en marcha en la Administración de Veteranos [de EE. UU.]. Un ejemplo de medicina de precisión consistiría en reunir las secuencias genómicas y los historiales médicos de la población del Reino Unido, Estados Unidos, Francia o el país que sea y crear modelos de aprendizaje automático que permitan predecir con gran precisión quién va a ser diagnosticado de qué enfermedad en los próximos cinco años. En realidad, no se trata de detectar enfermedades, sino de predecirlas. Y esto nos da la oportunidad de intervenir clínicamente y evitar el diagnóstico. ¿Qué podría ir mal? Luego combinamos eso con el teléfono móvil, con el que podemos llegar a comunidades hasta ahora desatendidas y en el futuro cada uno de nosotros y ¿cuántas personas tienen dispositivos que emiten telemetría? Arritmia cardíaca, pulso, niveles de glucosa en sangre, sustancias químicas en sangre, lo que sea. En la actualidad, tenemos estos dispositivos y en el futuro tendremos más. Podremos prestar atención médica a una gran parte de la población desatendida, de modo que, en definitiva, tendremos una población más sana, estaremos suministrando una medicina más eficaz... a un coste menor a una población más amplia. ¿Qué podría ir mal aquí? Pensemos en ello. ¿A quién le importan las enfermedades preexistentes cuando sabemos lo que te diagnosticarán en los próximos cinco años? La idea de que no se utilizará para fijar las primas... hay que superarla, porque se usará. Peor aún, no importa de qué lado estés. Da igual que creas en un proveedor único o en un sistema de mercado casi libre como el que tenemos en Estados Unidos. La idea de que esta entidad gubernamental o esta empresa del sector privado va a actuar de forma beneficiosa hay que superarla porque no lo van a hacer. Y estos sistemas serán utilizados para racionar la asistencia sanitaria. Se utilizarán en los Estados Unidos; se utilizarán en el Reino Unido; se utilizarán en la Administración de Veteranos. No sé si a usted le parece inquietante, pero a mí sí. Ahora, racionamos la asistencia sanitaria hoy en día tal vez de una manera igualmente horrible, pero esto me parece un uso particularmente horrible de la IA".

Para Siebel, "cuando hablamos de inteligencia artificial, dónde está hoy y hacia dónde se dirige, estamos tratando con algo extraordinariamente poderoso. Es más potente que la máquina de vapor"

Honan recordó a Siebel que hay un proyecto de ley [en California] para tratar de combatir la discriminación algorítmica, para informar a los consumidores de que la IA se ha utilizado en un proceso de toma de decisiones y recordó que Europa tiene también iniciativas con la recopilación de datos. Expuso que se lleva mucho tiempo hablando del sesgo algorítmico y le planteó: “¿Cree que estps temas llegarán a estar regulados de forma efectiva, o simplemente van a estar ahí fuera, en el ecosistema? Estos asuntos están llegando, pero ¿cree que no deberían regularse?”. Para Siebel, "cuando hablamos de inteligencia artificial, dónde está hoy y hacia dónde se dirige, estamos tratando con algo extraordinariamente poderoso. Es más potente que la máquina de vapor. Recuerde, la máquina de vapor nos trajo la revolución industrial, nos trajo la Primera Guerra Mundial, la Segunda Guerra Mundial, el comunismo. Esto es grande. Y, las consecuencias perjudiciales de esto son simplemente aterradoras. Hace que un futuro orwelliano parezca el Jardín del Edén comparado con lo que es capaz de ocurrir aquí. Tenemos que debatir cuáles son sus implicaciones. Tenemos que tratar las implicaciones para la privacidad. Muy pronto va a ser imposible determinar la diferencia entre noticias falsas y noticias reales. Podría ser muy difícil llevar adelante una sociedad democrática libre y abierta. Es necesario debatirlo. Hay que debatirlo en el mundo académico y en el Gobierno. Las propuestas de regulación que he visto son una locura. Hay una propuesta que todo el mundo conoce de un senador de Nueva York [el líder de la mayoría del Senado, Chuck Schumer, demócrata de Nueva York] de crear una agencia reguladora que va a aprobar y regular los algoritmos [de IA] antes de que puedan publicarse. Que alguien me diga en esta sala dónde está el límite entre lo que es y lo que no es IA. No creo que haya dos personas que se pongan de acuerdo”.

Siebel se preguntó: "¿Vamos a crear algo así como una asociación federal de algoritmos a la que someter nuestros algoritmos para su aprobación? ¿Cuántos millones de algoritmos (cientos de millones) se generan en Estados Unidos cada día? Básicamente vamos a criminalizar la ciencia. O vamos a llevar toda la ciencia fuera de los Estados Unidos. Eso es una locura. Las otras alternativas son (y no quiero atacar a este tipo porque creo que puede ser una de las personas más inteligentes del planeta), pero ¿esta idea de que vamos a detener la investigación durante seis meses? Vamos. ¿Vas a parar la investigación en el MIT durante seis meses? No lo creo. ¿Vas a parar la investigación en Shanghai, en Pekín, durante seis meses? De ninguna manera. No he oído nada que tenga sentido. ¿Necesitamos dialogar? ¿Son importantes estos diálogos que estamos teniendo aquí? Son muy importantes. Tenemos que entrar en la sala y ponernos de acuerdo; tenemos que discrepar; tenemos que pelearnos. Sean cuales sean las soluciones, no son fáciles. Antes de que lleguemos a un acuerdo federal... ¿hay razones para que la industria lidere la regulación? Hay un caso, pero me temo que no tenemos un historial muy bueno en ese sentido; me refiero a Facebook. Me gustaría creer que la autorregulación funcionaría, pero el poder corrompe y el absoluto lo hace de forma completa. Lo que ha ocurrido en las redes sociales en la última década es que estas empresas no se han autorregulado. Han hecho un daño enorme a miles de millones de personas en todo el mundo. Llevo mucho tiempo en la sanidad. Usted mencionó regulaciones en torno a la IA. Diferentes instituciones en la asistencia sanitaria, ni siquiera entienden HIPPA [la Ley de Portabilidad y Responsabilidad de Seguros de Salud es una ley federal que se aplica en Estados Unidos]. ¿Cómo vamos a migrar una regulación de IA en la asistencia sanitaria? "Podemos proteger los datos. La HIPPA es una de las mejores leyes de protección de datos que existen. No es un problema difícil: hay que cumplir la HIPPA".

Un miembro del público preguntó a Siebel si prevé que la IA generativa de C3 se implante sobre la próxima aplicación empresarial que vaya a aparecer. "Estamos utilizando la IA generativa para transformadores generativos preentrenados y estos grandes modelos lingüísticos para un uso no obvio. La utilizamos para cambiar radicalmente la naturaleza de la interfaz persona-ordenador del software de aplicaciones empresariales”, respondió.

"En los últimos 50 años, desde las tarjetas holográficas de IBM hasta Fortran, pasando por los dispositivos Windows y los PC, si nos fijamos en el modelo de iteración persona-ordenador para los sistemas ERP, los sistemas CRM, los sistemas de fabricación... todos son igual de espantosos e inutilizables. Existe una interfaz de usuario que unos tres mil millones de personas saben utilizar: el navegador de Internet. Primero salió de la Universidad de Illinois y su progenie más reciente es el site de Google. Todo el mundo sabe utilizarlo. Podemos combinar el navegador web con el procesamiento del lenguaje natural, el aprendizaje reforzado y la inteligencia artificial generativa para cambiar radicalmente la naturaleza del modelo de interacción entre el ser humano y el ordenador en estas aplicaciones empresariales, en las que uno teclea o formula verbalmente una pregunta y el sistema le da la respuesta. Así es como estamos utilizando la IA generativa en todas nuestras soluciones en todo el mundo", contestó Siebel.

Honan continuó preguntando si tiene alguna opinión sobre la Ley de Inteligencia Artificial de la UE. “China está estudiando su propia normativa sobre IA. Si Europa tiene su propia normativa, China tiene otra. Pensilvania tiene una. California tiene otra. ¿Cómo puede alguien que dirige una empresa de inteligencia artificial operar en todo el país y a escala internacional con este mosaico de normativas?” Para Siebel, “China es un problema muy sencillo. No hacemos negocios en China. Cuando en 2014 y 2015 nuestras oficinas se vieron invadidas por las cámaras de las empresas estatales chinas, decidimos huir. He hecho muchos negocios en China en vidas anteriores y decidí que me sentía muy cómodo con esa decisión.

"El GDPR ya está causando problemas a OpenAI"

"Hago muchos negocios en Europa. Nuestro mayor cliente es Shell. Shell obtiene, creo, unos 2.000 millones de dólares al año de nuestra aplicación en toda su cadena de valor, incluida la integración de las energías renovables. No estoy familiarizado con la ley de inteligencia artificial de la UE a la que se refiere, pero sí con el GDPR, que cumplimos. El GDPR ya está causando problemas a OpenAI. Creo que en Italia lo utilizaron para que OpenAI hiciera concesiones en cuanto a lo que hacen con la edad y para sacar información de sus sistemas. Echemos un vistazo a la soberanía de los datos. Algunas de estas leyes no hacen más que criminalizar comportamientos. Tienes una ley de soberanía de datos en Alemania. ...Shell, por ejemplo, [y] nuestros clientes europeos lo dejan muy claro: nos dicen la normativa que quieren que cumplamos y la cumplimos", continuó.

Preguntado por otra persona por cómo puede empoderar a otros que pueden estar fuera de los puestos de dirección de una empresa y tener menos experiencia pero una mejor perspectiva que él sobre la IA ética, contestó: "Está haciendo una pregunta muy importante. Hoy, mi empresa tiene 1.000 empleados. Pronto serán 10.000, en Madrid, Múnich, Muncie y Moline. Antes de hacer cualquier proyecto, nos sentamos con el CEO, el CTO, el director de datos y el representante del cliente y charlamos. ¿Es factible? ¿Podemos resolverlo? ¿Es ético? ¿Existe una propuesta de alto valor? Y lo hacemos de forma centralizada. Ahora, cuando somos 10.000 personas en 29 países, no vamos a ser capaces de hacer eso. Entonces, ¿cómo distribuimos esa toma de decisiones y no acabamos en una situación que fue una especie de desastre, como Watson [de IBM], si lo recuerdas? Había un montón de clientes que no sabían lo que estaban preguntando, o un montón de vendedores que decían que no importaba la pregunta, la respuesta era sí. Y tenían 800 sistemas fallidos en todo el mundo. Esta es una pregunta a la que me enfrento en relación con la ampliación de mi empresa, y aún no la he resuelto".

Honan siguió preguntando cómo conseguir un conjunto más diverso. "Creemos en la diversidad tanto como cualquiera. En nuestra empresa trabajan hombres, mujeres y personas de todo el mundo. Nuestra empresa no está formada por hombres blancos del Medio Oeste. Se lo puedo asegurar", respondió Siebel. 

“Usted ha hablado de los defectos de los reglamentos propuestos sobre IA. ¿Conoce alguna que funcione? ¿Cómo cree que sería una buena regulación?”, insistió Honan. "Creo que el derecho al olvido es un buen punto de partida. Parece una obviedad", afirmó el directivo.

"Estamos en una guerra abierta y hostil con China en lo que respecta a la IA, y no estoy seguro de que vayamos ganando"

“Ha hablado de la interacción persona-ordenador con el navegador. El mismo concepto puede extenderse a Alexa, Siri y Hi Google en el sentido de que podría ser una capa de voz a texto que alimenta a, tal vez, un motor ChatGPT en la parte posterior. ¿Qué opina al respecto?”, preguntó otro miembro de la audiencia. "Podríamos haberlo hecho con nuestra primera generación de sistemas, pero habría quedado un poco ridículo con todos los anuncios de Alexa. Sí, gran parte será por voz. Pero en nuestra primera generación optamos por usar texto porque no era tan vulgar. Sin duda, la voz será fundamental".

Finalmente, un portavoz de Presidio Ventures, empresa de capital riesgo, afirmó que en el mundo de los seguros están viendo una gran cantidad de regulaciones que comienzan a tomar forma, tratando de mostrar cómo los algoritmos calculan una póliza. “A nivel internacional están empezando a formarse un par de mundos. Un acceso a la IA relacionado con China y otro que no lo está. Vemos surgir un mundo similar en el que la IA se dibuja como una línea de batalla.  Vemos, pues, estímulos naturales y no naturales para la regulación. ¿Qué opina al respecto?”, añadió. "Estamos desarrollando dos mundos diferentes. Creo que estamos en una guerra abierta y hostil con China en lo que respecta a la IA, y no estoy seguro de que vayamos ganando. En lo que respecta a estas declaraciones sobre la IA ética, vemos en las portadas a todas estas empresas que permanecerán anónimas y que afirman que no están perpetuando prejuicios culturales. Y luego lo siguiente que vemos en sus productos es sobre redes neuronales y aprendizaje profundo. Hey chicos, están mintiendo. Están mintiendo descaradamente y saben que están mintiendo en su informe anual”, espetó Siebel.

"No hay nada explicable sobre el aprendizaje profundo, nada explicable sobre las redes neuronales y nada explicable como... Entramos en la IA generativa y estos grandes modelos de lenguaje y transformadores generativos preentrenados. Creo que la mayoría de estas declaraciones éticas son un montón de mentiras".