La inteligencia artificial puede hacer responsables a las empresas de los errores de sesgo

Mientras legisladores de todo el mundo trabajan para abordar los problemas de privacidad, seguridad y sesgo con la inteligencia artificial (IA) generativa, los expertos advierten a las empresas que sus proveedores no serán los responsables cuando algo salga mal.

Un panel de tres analistas legales realizó una conferencia en la que, por ejemplo, Miriam Vogel, directora ejecutiva de la organización sin fines de lucro EqualAI y presidenta del Comité Asesor Nacional de IA de la Casa Blanca, expresaba que, a pesar de que esta tecnología puede crear grandes eficiencias comerciales, las compañías que la usan deben mantenerse “hipervigilantes” para que sus sistemas no perpetúen y creen nuevas formas de discriminación. “Al crear EqualAI, los fundadores se dieron cuenta de que el sesgo y los daños relacionados suponen problemas ya antiguos en un nuevo mundo. Pero aquí, los problemas pueden ser más difíciles de detectar y las consecuencias mucho más graves”.

Vogel estuvo acompañada de  Cathy O’Neil, CEO de ORCAA, una firma de consultoría que audita algoritmos, y de Reggie Townsend, vicepresidente de ética de datos en SAS Institute y miembro de la junta de EqualAI. El panel argumentó que gestionar la seguridad y los sesgos de la IA pasa por generar marcos de gestión que abarquen todas las tecnologías.

La IA ha existido durante varias décadas en muchas formas, pero no ha sido hasta que los procesadores informáticos pudieron admitir modelos más sofisticados y plataformas como ChatGPT que han aumentado las preocupaciones. En los últimos seis meses, han surgido problemas relacionados con el sesgo en la contratación, evaluación y promoción de empleados, lo que ha llevado, por ejemplo, a Estados Unidos a crear estatutos para abordar el desafío.

“Aunque las empresas suelen dar licencias de software de IA a proveedores externos, la responsabilidad legal será más problemática para los usuarios que para estos proveedores”, decía O’Neil, quien hace una década trabajó en tecnología publicitaria, cuando, según ella, era más fácil diferenciar a las personas según su riqueza, género y raza. “Ese era el enfoque normalizado de la publicidad. Estaba bastante claro desde el principio que esto podría salir mal”.

Buscando puntos de fallo

Los algoritmos de reconocimiento facial, por ejemplo, funcionan a menudo mucho mejor para los hombres blancos y mucho peor para las mujeres negras. Los daños suelen incurrir en personas que han sido históricamente marginadas.

EqualAI ofrece un programa de certificación para empresas que plantea una pregunta una y otra vez; ¿para quién podría fallar? Esta cuestión obliga a las partes interesadas de la compañía a considerar a aquellos que se enfrentan a una aplicación revestida de IA, según O’Neill. Por ejemplo, ¿podría un sistema automatizado de seguimiento de solicitantes de empleo discriminar potencialmente a alguien por su origen étnico o por otros como su estado de salud mental durante una prueba de personalidad? “Esta es una brecha que EqualAI ha subsanado. No hay nadie más haciendo esto. Pero la buena noticia es que no es una ciencia espacial, no es imposible anticipar y colocar barandillas para garantizar que las personas estén protegidas. Con frecuencia, aquí se vuela a ciegas. Entonces, deberías preguntarte, si eres una empresa, qué podría salir mal, quién lastimado, cómo lo medimos y cuál es el mínimo y el máximo que queremos ver en esas mediciones”.

“Nada de eso es realmente tan complicado”, añadía. “Estamos hablando de seguridad. La EEOC (Comisión para la Igualdad de Oportunidades en el Empleo) ha dejado muy claro que utilizará todas las leyes de derechos civiles a su alcance para gobernar los sistemas de inteligencia artificial de la misma manera que lo haría con cualquier acción. No importa si se trata de una acción recomendada para usted por un sistema de IA. Usted es responsable de cualquier manera."

“También han dado el paso de señalar leyes específicas de particular preocupación, en parte, porque muchos sistemas de IA están violando estas leyes, como la Ley de Estadounidenses con Discapacidades ”, añadía Vogel. Por ejemplo, el software de reconocimiento de voz a menudo se entrena para hablantes de inglés, lo que significa que las salidas pueden verse afectadas por personas con impedimentos del habla o acentos fuertes que no hablan inglés. El software de reconocimiento facial a menudo puede leer mal o ser incapaz de leer los rostros de las minorías. “Si eres mujer, tampoco te escucharán tan bien como a un hombre según la información a partir de la cual se entrenó el software de reconocimiento”.

Los esfuerzos regulatorios deben ser más fuertes

Townsend argumentaba que el acuerdo no vinculante alcanzado el 21 de julio entre la Casa Blanca y siete empresas líderes en el desarrollo de IA para trabajar en la seguridad de su tecnología no fue lo suficientemente lejos. “Me encantaría ver a estas organizaciones garantizar que haya una representación adecuada en la mesa para tomar decisiones. No creo que hubiera una sola mujer que fuera parte de esa exhibición. Quiero asegurarme de que haya personas en la mesa que hayan vivido experiencias y que se vean y se sientan diferentes a las personas que formaron parte de la conversación. Estoy seguro de que todas esas organizaciones tienen ese tipo de gente”.

El miércoles, el mismo día del panel de discusión, el creador de ChatGPT, OpenAI, también anunció el Frontier Model Forum , un organismo de la industria para promover el desarrollo seguro y responsable de los sistemas de IA. Junto con el avance de la investigación de seguridad de la IA, la misión declarada del foro es "identificar las mejores prácticas y estándares, y facilitar el intercambio de información entre los legisladores y la industria".

Los panelistas dijeron que el Foro es un avance importante, ya que es otro paso en el proceso de incluir todo el ecosistema de IA en una conversación sobre seguridad, privacidad y protección. Pero también advirtieron que las "empresas grandes y bien financiadas" no deberían ser las únicas involucradas, y el escrutinio debe ir más allá de la IA generativa.

“La conversación sobre IA debe ir más allá de este modelo. Hay modelos de IA en finanzas, modelos de IA en el comercio minorista, usamos modelos de IA en nuestros teléfonos para navegar”, establecía Townsend. “La conversación sobre la IA ahora gira en torno a los grandes modelos de lenguaje. Tenemos que ser diligentes en nuestras conversaciones sobre la IA y sus motivaciones”.

Townsend también comparó la construcción y gestión de sistemas de IA con un sistema eléctrico: los ingenieros y científicos son responsables de la generación segura de electricidad; los electricistas son los encargados de cablear los sistemas eléctricos; y los consumidores son responsables del uso adecuado de la electricidad. “Eso requiere que todos en el ecosistema o la cadena de suministro pensemos en nuestra responsabilidad y en los productos y los insumos".

Un modelo de lenguaje grande (LLM) es un algoritmo, o una colección de código, que acepta entradas y devuelve salidas. Los resultados se pueden manipular a través del aprendizaje de refuerzo y la respuesta o la ingeniería rápida, enseñando al modelo cuál debe ser la respuesta adecuada a una solicitud.

Las empresas que implementan IA, ya sea en aplicaciones orientadas al consumidor o en sistemas back-end, no pueden simplemente hacerlo pasar como un problema para las grandes tecnologías y los proveedores de IA. Independientemente de si una organización vende productos o servicios, una vez que implementa IA, debe pensar en sí misma como una empresa de IA, dijo Vogel.

Si bien las empresas deben adoptar todas las eficiencias que brinda la tecnología de inteligencia artificial, decía Vogel, también es fundamental considerar las responsabilidades básicas que una empresa puede tener. Piense en las negociaciones de contratos con un proveedor de IA sobre la responsabilidad y considere cómo se implementarán las herramientas de IA y las leyes de privacidad que puedan aplicarse. “Tienes que tener tus ojos en todas las responsabilidades regulares en las que estarías pensando con cualquier otra innovación. Debido a que estás usando IA, no te coloca en un espacio fuera del ámbito normal . Es por eso que somos muy conscientes de incorporar abogados, porque si bien históricamente los abogados no se han involucrado en la IA, es necesario que lo hagan.

"Ciertamente hemos estado involucrados en la aviación y no tenemos mucha capacitación legal en aviación en la facultad de derecho. Es una situación similar aquí y con cualquier otra innovación. Entendemos los riesgos y ayudamos a establecer marcos y salvaguardas".

Las empresas que utilizan IA deben estar familiarizadas con el marco de gestión de riesgos del NIST, dijo el panel. Las organizaciones también deben identificar un punto de contacto interno para los empleados que implementan y usan la tecnología: alguien con la responsabilidad final y que pueda proporcionar recursos para abordar problemas y tomar decisiones rápidas.

También debe haber un proceso establecido y claridad sobre qué etapas del ciclo de vida de la IA requerirán qué tipo de prueba, desde adquirir un LLM hasta entrenarlo con datos internos. Las pruebas de los sistemas de IA también deben documentarse para que cualquier evaluación futura de la tecnología pueda tener en cuenta lo que ya se ha verificado y lo que queda por hacer.

“Y, finalmente, debe hacer una auditoría de rutina. AI continuará iterando. No es una situación única”, concluía Vogel.