Reformer, el nuevo modelo de aprendizaje automático de Google
En colaboración con la Universidad UC Berkeley, Google ha presentado un nuevo modelo del sistema de aprendizaje automático Transformer lanzado en 2017. Se llama Reformer y funciona más rápido y más eficientemente que su predecesor.
Aunque el modelo Transformer de Google se usa ampliamente en el mundo de la inteligencia artificial y el aprendizaje automático, el sistema tiene sus limitaciones. Por ejemplo, Transformer tiene problemas con grandes marcos contextuales, donde el número de cálculos de cómputo se vuelve demasiado pesado rápidamente. Reformer resuelve este problema y se asegura de que se necesita menos potencia informática para comprender, traducir y generar textos.
Google Transformer vs Reformer
Los modelos de transformador funcionan con neuronas (funciones matemáticas), que están organizadas en diferentes capas. Estas capas están interconectadas y procesan las señales de entrada en señales salientes, mientras que la fuerza sináptica entre cada conexión se ajusta lentamente y se calcula dinámicamente. De esta manera, un modelo de IA puede extraer ciertas características y funciones de, por ejemplo, un texto y aprender a hacer predicciones.
Sin embargo, este sistema es relativamente ineficiente y es por eso que Google ha desarrollado Reformer. Con Reformer, las llamadas funciones hash se usan para agrupar vectores similares. Esto permite que el sistema busque en grupos de datos relativamente pequeños en lugar de buscar en todos los pares de vectores posibles. Por ejemplo, con una tarea de traducción, todas las palabras que significan lo mismo en diferentes idiomas obtienen el mismo hash. Una vez que se han asignado los hash, se agrupan y se dividen en diferentes segmentos para permitir que los datos se procesen en paralelo.
Otra cosa que hace que Reformer sea más eficiente que Transformer es el hecho de que la nueva arquitectura recalcula la entrada de cada capa en el sistema a pedido en lugar de almacenar todos los datos en la memoria.
Reformer sólo se puede ejecutar con un chip acelerador AI con solo 16 GB de RAM. Con esto, el sistema podría manejar un marco de contexto mucho más amplio que todos los conjuntos de datos existentes, según los investigadores Lukasz Kaiser y Nikita Kitaev. En las pruebas, Google Reformer logró procesar el texto completo del libro de Dostoievsky, Crimen y castigo.
