OpenAI prepara una división para evitar que la IA genere catástrofes
El departamento, llamado Preparedness, buscará minimizar estos riesgos “en continua evolución", como la posibilidad de una guerra nuclear.
La compañía desarrolladora de ChatGPT, OpenAI, está preparando un equipo para evitar que se utilicen modelos de inteligencia artificial (IA) denominados de “frontera” para iniciar una guerra nuclear, entre otras amenazas. “Creemos que los modelos de IA de vanguardia, que superarán las capacidades actualmente presentes en los sistemas más avanzados, tienen el potencial de potenciar a toda la humanidad. Pero también plantean riesgos cada vez más graves”, afirma la empresa en un comunicado.
El departamento, llamado Preparedness, y que liderará Aleksander Madry, buscará minimizar estos riesgos “catastróficos” en continua evolución. Estos incluyen la persuasión individualizada, la ciberseguridad, amenazas químicas, biológicas, radiológicas y nucleares, así como la replicación y adaptación autónomas. Se espera que esta nueva división conecte la evaluación de capacidades, las evaluaciones y un red team interno para los modelos de frontera. También será responsable de desarrollar una política basada en riesgos (PDR).
“Nuestro PDR detallará nuestro enfoque para desarrollar evaluaciones y monitorizaciones rigurosas de la capacidad del modelo de frontera, crear un espectro de acciones protectoras y establecer una estructura de gobernanza para la rendición de cuentas y la supervisión en todo ese proceso de desarrollo”. El PDR también pretende complementar y ampliar el trabajo de mitigación de riesgos en la empresa. Asimismo, OpenAI también busca contratar “talento excepcional de diversos orígenes técnicos”.
El desafío de la preparación de la IA
Además, la compañía dijo que estaba lanzando un desafío de preparación de IA para la prevención de un uso indebido catastrófico. “Ofreceremos 25.000 dólares en créditos API a hasta 10 de los mejores proyectos, publicaremos ideas y entradas novedosas y buscaremos candidatos para la preparación entre los principales contendientes”.
En julio, OpenAI abrió una nueva división de investigación de alineación, centrada en el desarrollo de técnicas de entrenamiento para evitar que la IA superinteligente cause daños graves. Casi al mismo tiempo, la empresa se unió a otros laboratorios líderes para asumir compromisos voluntarios para promover la seguridad y la confianza.
