Nvidia presenta una nueva plataforma basada en GPU para impulsar el rendimiento de la IA generativa
Llamada Nvidia HGX H200, esta plataforma se ha diseñado para soportar las cargas de trabajo de computación de alto rendimiento necesarias para entrenar modelos generativos de IA.
Nvidia ha anunciado una nueva plataforma de computación de IA llamada Nvidia HGX H200, una versión turboalimentada de la arquitectura Nvidia Hopper de la compañía, impulsada por su última oferta de GPU, el Nvidia H200 Tensor Core.
La compañía también se ha asociado con HPE para ofrecer un sistema de supercomputación basado en los superchips Nvidia Grace Hopper GH200, diseñado específicamente para el entrenamiento generativo de IA.
El aumento del interés de las empresas por la IA ha impulsado la demanda de GPU Nvidia para gestionar la IA generativa y las cargas de trabajo de computación de alto rendimiento. Su última GPU, la Nvidia H200, es la primera en ofrecer HBM3e, una memoria de gran ancho de banda que es un 50% más rápida que la actual HBM3, lo que permite suministrar 141 GB de memoria a 4,8 terabytes por segundo, proporcionando el doble de capacidad y 2,4 veces más ancho de banda que su predecesora, la Nvidia A100.
Nvidia presentó el primer procesador HBM3e, la plataforma GH200 Grace Hopper Superchip, en agosto "para satisfacer la creciente demanda de IA generativa", declaró entonces el fundador y consejero delegado de Nvidia, Jensen Huang.
La introducción de la Nvidia H200 dará lugar a nuevos saltos en el rendimiento, afirma la empresa en un comunicado, en el que añade que, en comparación con su oferta H100, la nueva arquitectura casi duplicará la velocidad de inferencia en la LLM Llama-2 de Meta, con 70.000 millones de parámetros. Los parámetros se refieren a la configuración de las redes neuronales.
Ian Buck, vicepresidente de hiperescala y HPC de Nvidia, afirma en un comunicado que acompaña al anuncio: "Para crear inteligencia con aplicaciones de IA generativa y HPC, es necesario procesar grandes cantidades de datos a alta velocidad utilizando una memoria de GPU grande y rápida". "Con Nvidia H200, la plataforma de supercomputación de IA integral líder del sector ahora es más rápida para resolver algunos de los retos más importantes del mundo".
Se espera que los sistemas H200 comiencen a comercializarse en el segundo trimestre de 2024, con la GPU Nvidia H200 Tensor Core disponible en placas de servidor HGX H200 con configuraciones de cuatro y ocho vías.
Según Nvidia, una HGX H200 de ocho vías proporciona más de 32 petaflops de cálculo de aprendizaje profundo FP8 y 1,1 TB de memoria agregada de gran ancho de banda para obtener el máximo rendimiento en aplicaciones generativas de IA y HPC.
Un petaflop es una medida de rendimiento para un ordenador que puede calcular al menos mil billones, o un cuatrillón, de operaciones en coma flotante por segundo. Un FP8 es una especificación de formato de coma flotante de ocho bits, diseñada para facilitar el uso compartido de redes de aprendizaje profundo entre plataformas de hardware.
El H200 puede desplegarse en cualquier tipo de centro de datos, incluyendo on premises, cloud, hybrid-cloud y edge, y también estará disponible en la plataforma GH200 Grace Hopper Superchip.
Nvidia potencia la nueva solución de entrenamiento de IA de HPE con los superchips Grace Hopper GH200
Dos semanas después de que se revelara que el superordenador Isambard-AI del Reino Unido se construiría con la tecnología de superordenador Cray EX de HPE e impulsado por los Superchips Nvidia GH200 Grace Hopper, las dos compañías se han unido una vez más para proporcionar un nuevo sistema de supercomputación llave en mano que apoya el desarrollo de IA generativa.
El nuevo sistema comprende software de IA y aprendizaje automático preconfigurado y probado previamente, e incluye también superordenadores con refrigeración líquida, cálculo acelerado, redes, almacenamiento y servicios. Basada en la misma arquitectura que Isambard-AI, la solución se integrará con la tecnología de supercomputación HPE Cray y estará impulsada por los superchips Nvidia Grace Hopper GH200, lo que permitirá a los centros de investigación de IA y a las grandes empresas acelerar el entrenamiento de un modelo entre dos y tres veces.
"En conjunto, esta solución ofrece a las organizaciones la escala y el rendimiento sin precedentes necesarios para las grandes cargas de trabajo de IA, como el entrenamiento de modelos de lenguaje de gran tamaño (LLM) y modelos de recomendación de aprendizaje profundo (DLRM)", señala HPE en un comunicado.
El sistema estará disponible de forma general en diciembre a través de HPE en más de 30 países.
