OpenAI crea una división para abordar los riesgos de la futura IA superinteligente

OpenAI, creadora del popular servicio ChatGPT, abrirá una nueva división de investigación enfocada en desarrollar técnicas de entrenamiento para evitar que la inteligencia artificial (IA) superinteligente cause graves daños. “Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta”, señala la firma en un comunicado corporativo. Y, añaden, aunque esta pueda parecer lejana, algunos expertos creen que podría llegar en esta década.

Las técnicas actuales para alinear la IA incluyen el aprendizaje reforzado a partir de la retroalimentación humana, pero según la empresa, a medida que los sistemas se vuelven más inteligentes que los humanos, ya no se puede confiar en estos últimos para supervisar la tecnología. “Las técnicas actuales no escalarán a la superinteligencia. Necesitamos nuevos avances científicos y técnicos”.

Jan Leike, investigadora de aprendizaje automático, e Ilya Stskever, cofundador y científico jefe de OpenAI, codirigirán el nuevo equipo de la firma. Para llevar a cabo su misión, durante los próximos cuatro años la división tendrá acceso al 20% de la capacidad de procesamiento de la empresa para construir “un investigador automatizado a nivel humano” que pueda ampliarse para supervisar la superinteligencia.

Para alinear al investigador automatizado con la ética humana, los directivos creen que será necesario adoptar un enfoque a tres pasos: desarrollar un método de capacitación escalable; validar el modelo resultante; y hacer pruebas de todos los esfuerzos.

“Esperamos que nuestras prioridades evoluciones sustancialmente a mediad que aprendamos más sobre el problema y, probablemente, iremos sumando áreas de investigación completamente nuevas".

OpenAI reconoce la necesidad de mitigar el daño potencial de la IA

Esta no es la primera vez que la empresa reconoce públicamente la necesidad de mitigar los riesgos que plantea la IA no regulada. En mayo, su CEO, Sam Altman, firmó una carta abierta en la que afirmaba que el control de la tecnología debería ser una prioridad mundial, ya que la evolución de la IA podría llegar a conducir a una futura extinción humana.

OpenAI también tienen una sección dedicada en su página web, donde el público puede acceder a materiales relacionados con lo que la compañía llama el desarrollo de una “IA segura y responsable”, junto con una carta que describe los principios a los que se adhiere para ejecutar esta misión. Sin embargo, estos se relacionan en gran medida con el concepto de inteligencia general artificial (AGI): sistemas altamente autónomos que superan a los humanos en el trabajo económicamente más valioso.

“Intentaremos construir directamente una AGI segura y beneficiosa, pero también consideraremos cumplida nuestra misión si nuestro trabajo ayuda a otros a lograr este resultado”, dice la carta, que se publicó en 2018.