La industria chip se esfuerza por satisfacer las demandas de la inteligencia artificial

La inteligencia artificial (IA) generativa en forma de tecnología de procesamiento de lenguaje natural ha tomado al mundo por sorpresa, con organizaciones grandes y pequeñas apresurándose a probarla en un intento por automatizar tareas y aumentar la producción. Los gigantes de la industria como Google, Microsoft y Amazon están ofreciendo estos servicios basados en la nube y en sus aplicaciones comerciales para los usuarios, y se espera que el gasto de la IA generativa por parte de las empresas alcance los 301.000 millones de dólares en todo el mundo, según IDC.

Pero estas herramientas consumen una gran cantidad de recursos computacionales, principalmente para entrenar los modelos de lenguaje grandes (LLM, de sus siglas inglesas) que sustentan ChatGPT, de OpenAI, y Bard, de Google. A medida que aumenta su uso, también lo hace la presión sobre el hardware utilizado para ejecutar esos modelos, que son los almacenes de información para el procesamiento de lenguaje natural.

Las unidades de procesamiento gráfico (GPU), que se crean conectando diferentes chips, como los de procesador y memoria, en un solo paquete, se han convertido en la base de las plataformas de IA porque ofrecen el ancho de banda necesario para entrenar e implementar LLM. Pero los fabricantes de chips de IA no pueden mantenerse al día con la demanda. Como resultado, en los últimos meses han surgido mercados negros de GPU de IA.

Algunos culpan de la escasez a compañías como Nvidia, que ha acaparado el mercado de producción de GPU y tiene un dominio absoluto sobre los suministros. Antes del auge de la IA, la compañía diseñó y produjo procesadores de alta gama que ayudaron a crear gráficos sofisticados en videojuegos, el tipo de procesamiento especializado que ahora es altamente aplicable al aprendizaje automático y la IA.

La sed de inteligencia artificial por las GPU

En 2018, OpenAI publicó un análisis que muestra que desde 2012, la cantidad de potencia informática utilizada en las carreras de entrenamiento de IA más grandes había aumentado exponencialmente, duplicándose cada tres meses y medio (en comparación, la Ley de Moore postuló que el número de transistores en un circuito integrado se duplica cada dos años).

"Desde 2012, esta métrica ha crecido en más de 300,000x (un período de duplicación de 2 años produciría solo un aumento de 7x)", expresa OpenAI en su informe. "Las mejoras en la computación han sido un componente clave del progreso de la IA, por lo que mientras esta tendencia continúe, vale la pena prepararse para las implicaciones de los sistemas muy por encima de las capacidades actuales".

No hay razón para creer que la tesis de OpenAI haya cambiado; de hecho, con la introducción de ChatGPT en noviembre pasado, la demanda se disparó, según Jay Shah, investigador del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE). "Actualmente estamos viendo un gran aumento en las demandas de hardware, principalmente GPU, de las grandes compañías tecnológicas para entrenar y probar diferentes modelos de IA para mejorar la experiencia del usuario y agregar nuevas características a sus productos existentes".

A veces, los creadores de LLM como OpenAI y Amazon parecen estar en una batalla para reclamar quién puede construir el modelo más grande. Algunos ahora superan un billón de parámetros de tamaño, lo que significa que requieren aún más potencia de procesamiento para entrenar y correr.

"No creo que hacer modelos aún más grandes haga avanzar el campo", argumenta Shah. "Incluso en esta etapa, entrenar estos modelos sigue siendo extremadamente costoso computacionalmente, cuesta dinero y crea mayores huellas de carbono en el clima. Además, la comunidad de investigación prospera cuando otros pueden acceder, entrenar, probar y validar estos modelos".

La mayoría de las universidades e instituciones de investigación no pueden permitirse replicar y mejorar los LLM ya masivos, por lo que se centran en encontrar técnicas eficientes que utilicen menos hardware y tiempo para entrenar e implementar modelos de IA, según Shah. Técnicas como el aprendizaje autosupervisado, el aprendizaje de transferencia, el aprendizaje de tiro cero y los modelos básicos han mostrado resultados prometedores. "Esperaría uno o dos años más para que la comunidad de investigación de IA encuentre una solución viable".

¿Startups al rescate?

Las nuevas empresas de chips de IA con sede en Estados Unidos como Graphcore, Kneron e iDEAL Semiconductor, se ven a sí mismas como alternativas a los incondicionales de la industria como Nvidia. Graphcore, por ejemplo, está proponiendo un nuevo tipo de procesador llamado unidad de procesamiento inteligente (IPU), que según la compañía fue diseñado desde cero para manejar las necesidades informáticas de IA. Los chips de Kneron están diseñados para aplicaciones de IA de vanguardia, como vehículos eléctricos (EV) o edificios inteligentes.

En mayo, iDEAL Semiconductor lanzó una nueva arquitectura basada en silicio llamada "SuperQ", que afirma que puede producir una mayor eficiencia y un mayor rendimiento de voltaje en dispositivos semiconductores como diodos, transistores de efecto de campo (MOSFET) de metal-óxido-semiconductor y circuitos integrados.

Si bien la cadena de suministro de semiconductores es muy compleja, la parte de fabricación tiene el tiempo de entrega más largo para poner en línea nueva capacidad, según Mike Burns, cofundador y presidente de iDEAL Semiconductor.

"Ejecutar una fábrica con alta utilización puede ser muy rentable, pero ejecutarla con baja utilización puede ser un desastre financiero debido a los gastos asociados con el equipo de producción", indica Burns. "Por estas razones, las fábricas son cuidadosas con la expansión de la capacidad. Varios choques en la cadena de suministro, incluidos la covid, geopolítica y cambios en los tipos de chips necesarios en el caso de los vehículos eléctricos y la IA, han producido varias restricciones que pueden tardar de uno a tres años en corregirse. Las restricciones pueden ocurrir en cualquier nivel, incluidas las materias primas atrapadas en la geopolítica o la capacidad de fabricación en espera de construcción".

Si bien los videojuegos siguen siendo un gran negocio para Nvidia, su negocio emergente de IA ha permitido a la compañía controlar más del 80% del mercado de chips de IA. Sin embargo, a pesar de los formidables saltos en los ingresos de Nvidia, los analistas ven problemas potenciales con su cadena de suministro. La compañía diseña sus propios chips pero, como gran parte de la industria de semiconductores, depende de TSMC para producirlos, lo que hace que Nvidia sea susceptible a las interrupciones de la cadena de suministro.

Además, los esfuerzos de código abierto han permitido el desarrollo de una gran cantidad de modelos de lenguaje de IA, por lo que las pequeñas empresas y las nuevas empresas de IA también están saltando para desarrollar LLM específicos del producto. Y con las preocupaciones de privacidad sobre la IA que comparte inadvertidamente información confidencial, muchas empresas también están invirtiendo en productos que pueden ejecutar pequeños modelos de IA localmente (conocidos como Edge AI).

Se llama extremo porque la computación de IA ocurre más cerca del usuario en el borde de la red donde se encuentran los datos, como en un servidor solitario o incluso en un automóvil inteligente, en lugar de un LLM ubicado centralmente en una nube o centro de datos privado.

Edge AI ha ayudado a los radiólogos a identificar patologías, controlar edificios de oficinas a través de dispositivos de Internet de las cosas (IoT) y se ha utilizado para controlar automóviles sin conductor. El mercado de IA de borde se valoró en 12.000 millones de dólares en 2021 y se espera que alcance los 107.470 millones para 2029. "Veremos más productos capaces de ejecutar IA localmente, aumentando aún más la demanda de hardware", dice Shaw.

¿Son los LLM más pequeños la respuesta?

Avivah Litan, un distinguido vicepresidente analista de la firma de investigación Gartner, cree que tarde o temprano el escalado de los chips de GPU no podrá mantenerse al día con el crecimiento en el tamaño de los modelos de IA. "Por lo tanto, continuar haciendo modelos cada vez más grandes no es una opción viable".

Burns de iDEAL Semiconductor está de acuerdo: "Habrá una necesidad de desarrollar LLM y soluciones de inteligencia artificial más eficientes, pero la producción adicional de GPU es una parte inevitable de esta ecuación".

"También debemos centrarnos en las necesidades energéticas. Existe la necesidad de mantenerse al día en términos de demanda de energía tanto de hardware como de centros de datos. La capacitación de un LLM puede representar una huella de carbono significativa. Por lo tanto, necesitamos ver mejoras en la producción de GPU, pero también en los semiconductores de memoria y potencia que deben usarse para diseñar el servidor de IA que utiliza la GPU".

A principios de este mes, el fabricante de chips más grande del mundo, TSMC, admitió que enfrenta limitaciones de fabricación y disponibilidad limitada de GPU para aplicaciones de IA y HPC. "Actualmente no podemos satisfacer todas las demandas de nuestros clientes, pero estamos trabajando para abordar aproximadamente el 80% de ellas", dijo Liu en Semicon Taiwán. "Esto es visto como una fase transitoria. Anticipamos un alivio después del crecimiento de nuestra capacidad avanzada de empaquetado de chips, aproximadamente en un año y medio".

En 2021, la disminución de la producción nacional de chips subrayó una crisis mundial de la cadena de suministro que llevó a llamadas para relocalizar la fabricación a los Estados Unidos. Con el gobierno de los Estados Unidos estimulándolos a través de la Ley CHIPS, empresas como Intel, Samsung, Micron y TSMC revelaron planes para varias plantas nuevas en los Estados Unidos. (Qualcomm, en asociación con GlobalFoundries, también planea invertir 4.200 millones para duplicar la producción de chips en sus instalaciones de Malta, Nueva York).

TSMC planea gastar hasta 36.000 millones de dólares este año para aumentar la producción de chips, incluso cuando otras compañías, tanto fabricantes de dispositivos integrados (IDM) como fundiciones, están operando cerca o en plena utilización, según la consultora de gestión global McKinsey & Co.

"La industria de los chips no puede mantenerse al día. La innovación de la GPU se está moviendo más lentamente que la ampliación y el crecimiento de los tamaños de los modelos", asevera Litan. "El hardware siempre es más lento de cambiar que el software". Sin embargo, Liu de TSMC estima que las restricciones de suministro de chips de IA son "temporales" y podrían aliviarse para fines de 2024, según un informe en Nikkei Asia.

Tanto la Ley CHIPS y Ciencia de los Estados Unidos como la Ley Europea de Chips estaban destinadas a abordar los desafíos de la oferta y la demanda al recuperar y aumentar la producción de chips en sus propias costas. Aun así, más de un año después de la aprobación de la Ley CHIPS, TMSC ha retrasado la fecha de apertura de su fundición Phoenix, AZ, una planta que será la pieza central de su agenda de repatriación de chips por valor de 52.000 millones. TSMC había planeado una apertura en 2024; Ahora se pondrá en línea en 2025 debido a la falta de mano de obra calificada. Una segunda planta de TSMC todavía está programada para abrir en 2026.

El mayor proveedor mundial de carburo de silicio, Wolfspeed, admitió recientemente que probablemente pasará la segunda mitad de la década antes de que las inversiones relacionadas con la Ley CHIPS afecten la cadena de suministro.

Burns, de iDEAL Semiconductor, admite que las leyes de chips estadounidenses y europeos deberían ayudar a abordar el problema de la cadena de suministro al relocalizar algunas partes de la industria de semiconductores para aumentar la resiliencia en el sistema de fabricación.

"La Ley CHIPS y Ciencia de los Estados Unidos ya ha impactado al sector al aumentar el riesgo de la cadena de suministro de semiconductores a un diálogo nacional. La atención ahora centrada en los riesgos de la cadena de suministro ha impulsado las inversiones del sector privado", dijo Burns. "Los fabricantes estadounidenses han anunciado planes para expandir sus capacidades, y las inversiones en lugares como Texas, Ohio, Nueva York y Arizona están en marcha rápidamente. Tomará tiempo evaluar completamente hasta qué punto el CHIPS y la Ley de Ciencia pueden resolver los problemas existentes de la cadena de suministro, pero es un buen primer paso para expandir la capacidad de fabricación nacional".

Sin embargo, a pesar de la escasez de chips de IA, las acciones de chips de IA se han disparado, incluida la de Nvidia, cuya capitalización de mercado superó la marca del billón de dólares, ya que el precio de sus acciones se triplicó con creces en las últimas 52 semanas.

Shaw del IEEE también señaló que el gobierno de los Estados Unidos no ha podido proporcionar los fondos que prometió a las fundiciones, lo que por defecto significa que muchas compañías tecnológicas con sede en los Estados Unidos deben planear confiar en los fabricantes existentes. "Personalmente creo que todavía tomaría de cuatro a cinco años tener hardware fabricado en suelo estadounidense que también sea más barato que sus contrapartes asiáticas".