La nube y la supercomputación llevan al mundo HPC a una nueva dimensión

Hace aproximadamente 25 años, unas cuantas tecnologías de código abierto se combinaron para crear un Internet robusto y comercial que por fin estaba listo para hacer negocio y recaudar dinero. Apodada LAMP (Linux, Apache HTTP Server, MySQL y PHP/Perl/Python), esta combinación de código abierto se convirtió en la pila de desarrollo estándar para una generación de desarrolladores. Quizás ahora estemos en la cúspide de otro momento de la pila LAMP.

Esta vez, sin embargo, la atención no se centra en crear una nueva forma online de vender comida para perros. En su lugar, se está produciendo un nuevo renacimiento tecnológico para hacer frente a cargas de trabajo algorítmicamente complejas y a gran escala que consumen cantidades masivas de recursos informáticos. Pensemos en las vacunas para COVID-19, la construcción de nuevos aviones supersónicos o la conducción de vehículos autónomos. El mundo de la ciencia y la ingeniería está acelerando y ofreciendo nuevas innovaciones a un ritmo vertiginoso nunca antes visto. ¿Cómo? Con la nube. Pero no solo.

El amanecer de la 'gran computación' o la 'tecnología profunda'

La nube es quizás una descripción demasiado sencilla de lo que está ocurriendo. Nos falta una abreviatura inteligente para esta transformación, como una pila LAMP para Internet. Algo ha liberado repentinamente a los científicos para innovar en motores de computación de inmensa complejidad con el fin de alimentar cargas de trabajo impulsadas por algoritmos que están cambiando nuestras vidas de maneras mucho más profundas de lo que un primer Friendster o Pets.com prometían ofrecer.

La computación de alto rendimiento (HPC en sus siglas en inglés) es la etiqueta más común asociada a estas cargas de trabajo. Pero eso fue antes de que las nubes públicas se convirtieran en plataformas viables para estas nuevas aplicaciones. Si se examina la lista Top500 de los superordenadores más rápidos del mundo, se verá un número creciente de ellos basados en nubes públicas. Esto no es una coincidencia: los superordenadores locales y los clústeres masivos de Linux existen desde hace décadas (antes de la Internet comercial), pero esta nueva tendencia (a veces denominada big compute o deep tech) depende en gran medida de la nube.

En palabras de la consultora BCG, "la creciente potencia y el descenso del coste de la computación, así como el aumento de las plataformas tecnológicas, son los factores más importantes. La computación en la nube está mejorando constantemente el rendimiento y ampliando la amplitud de uso".

Pero esta nueva 'pila' no tiene que ver solo con cloud. En cambio, depende de tres megatendencias tecnológicas: el rápido aumento de la amplitud y profundidad del software de simulación, el hardware especializado y la nube. Estos son los componentes tecnológicos que todos los equipos científicos y de investigación que se mueven con rapidez están aprovechando hoy en día y por los que han surgido cientos de empresas emergentes para sacudir sectores moribundos desde hace tiempo que se habían consolidado hace una década o más.

Ayudar a los ingenieros a moverse más rápido

Al igual que el momento mágico de la pila LAMP, el momento actual de la gran computación/tecnología profunda consiste en permitir la productividad de los ingenieros. La nube es fundamental para ello, aunque no es suficiente por sí sola.

Un ejemplo es el sector aeroespacial. Un ingeniero aeroespacial dependería tradicionalmente de un clúster HPC local para simular todas las variables necesarias relacionadas con el despegue y el aterrizaje para diseñar un nuevo avión supersónico. Las empresas aeroespaciales emergentes, en cambio, se han pasado directamente a la nube, con una infraestructura elástica que les ha permitido modelar y simular aplicaciones sin tener que hacer cola detrás de sus colegas para conseguir hardware HPC altamente especializado. Menos tiempo para construir y mantener el hardware. Más tiempo de experimentación e ingeniería. Esa es la belleza del enfoque de la gran nube de computación.

A esto hay que añadir una amplia gama de software de simulación que permite modelar nuevas innovaciones antes de construir y crear prototipos de objetos físicos complejos. El hardware especializado, a medida que la Ley de Moore se va agotando, impulsa estas simulaciones complicadas desde el punto de vista algorítmico. Y la nube separa todo esto de los superordenadores y clústeres locales, lo que facilita un orden de magnitud la creación y ejecución de modelos, su iteración y mejora, y su repetición antes de pasar a los prototipos físicos. (Para que quede claro, gran parte de esta tecnología profunda y de gran computación consiste en construir cosas físicas, no software).

Lo complicado de este ámbito es la configuración personalizada de hardware y software que se requiere para hacerlos funcionar y los sofisticados flujos de trabajo necesarios para optimizar su rendimiento. Este tipo de cargas de trabajo con un uso intensivo de algoritmos requiere una GPU cada vez más especializada y otras arquitecturas de chip más nuevas. Las empresas que están pagando a costosos científicos para que diseñen la próxima gran turbina o la salsa secreta de la propulsión a chorro no quieren atascarlos obligándolos a aprender a levantar las máquinas con combinaciones de software y hardware de simulación.

"Hace 15 años, cualquier empresa del sector de la computación de alto rendimiento se diferenciaba en función de la calidad de su hardware local y, básicamente, apostaba por que la Ley de Moore siguiera proporcionando un mejor rendimiento en las arquitecturas x86 año tras año", afirma Joris Poort, director general de Rescale, en una entrevista. "Hoy en día, lo que más importa es la velocidad y la flexibilidad: asegurarse de que sus científicos utilicen el mejor software de simulación para su trabajo, y liberarlos de convertirse en especialistas en grandes infraestructuras informáticas especializadas para que puedan lanzar nuevas innovaciones con mayor rapidez".

Superordenadores especializados

¿Todas las empresas acabarán utilizando la simulación y el hardware especializado en la nube? Probablemente no. En la actualidad, este es el dominio de los cohetes, la propulsión, la biología computacional, los sistemas de transporte y el 1% superior de los retos computacionales más difíciles del mundo. Pero mientras que la gran computación se utiliza para resolver los problemas más complejos hoy en día, seguramente veremos una nueva oleada de Netflixes que derrocarán a los Blockbusters del mundo utilizando esta combinación LAMP de nube, software de simulación y hardware especializado.