IA

La nueva tecnología de Google acelera el entrenamiento de los modelos de IA

Según informa VentureBeat, Data Echoing, una nueva tecnología de Google, aceleraría drásticamente el entrenamiento de los modelos de IA en las fases iniciales del proceso de entrenamiento

google

Los aceleradores de inteligencia artificial, como el procesador de red neuronal Nervana de Intel o las unidades de procesamiento tensoriales de Google, están destinados a acelerar la capacitación en inteligencia artificial, pero las fases iniciales de los procesos de capacitación en inteligencia artificial no se benefician del impulso que ofrece este hardware. De acuerdo con los investigadores que escribieron el artículo anterior, esto es posible si se usa el eco de datos, una forma de reutilizar los datos de salida en una fase anterior del proceso. En teoría, esto daría como resultado un uso óptimo de la potencia del procesador.   

Normalmente, un proceso de entrenamiento de IA significa que el modelo lee la entrada, la decodifica y luego la mezcla. A continuación, los datos se proporcionan con información adicional y se dividen en lotes. A partir de entonces, los parámetros de un algoritmo se actualizan cada vez que se vuelven a leer los lotes. Al final, el margen de error de un sistema de IA se hace cada vez más pequeño. Sin embargo, con el eco de los datos, la salida se reutiliza antes de que se actualicen los parámetros, pero después de que se proporcione información adicional a los datos. 

Para probar la efectividad del eco de datos, los investigadores de Google aplicaron las tácticas a varias tareas de los modelos de IA. Se refería específicamente a dos tareas de 'modelado de lenguaje', dos tareas de 'clasificación de imágenes' y una tarea de 'detección de objetos'. El modelo fue entrenado con conjuntos de datos de código abierto. Luego, el tiempo requerido mientras se usaba el eco de datos se comparó con el tiempo requerido sin el eco de datos. El resultado fue que el eco de los datos, en todos menos uno, resultó en un entrenamiento de IA menos requerido para lograr un cierto margen de error. Por lo tanto, si se produce un cuello de botella en las últimas fases de la capacitación en IA, el eco de los datos podría ser una forma de lograr una mayor capacidad del sistema en etapas anteriores.



TE PUEDE INTERESAR...

Forma parte de nuestra comunidad

 

¿Te interesan nuestras conferencias?

 

 
Cobertura de nuestros encuentros
 
 
 
 
Lee aquí nuestra revista de canal

DealerWorld Digital