NVIDIA H200 es la primera GPU que incluye memoria HBM3e
Imagen: NVIDIA
NVIDIA ha anunciado que el H200 estará disponible a través de fabricantes de sistemas globales y proveedores de servicios en la nube a partir del segundo trimestre de 2024.
Presentada durante el evento SC23 de hoy en Denver, la H200 es la última GPU de NVIDIA orientada a la IA generativa y cargas de trabajo informáticas de alto rendimiento, que, si bien se basa en la misma arquitectura líder Hopper y la plataforma HGX, resulta ser la primera en ofrecer memoria HBM3e.
NVIDIA ha informado de una mejora significativa en el rendimiento con la implementación de HBM3e, afirma la empresa.
La NVIDIA H200, que utiliza tecnología HBM3e, proporciona un aumento sustancial en la capacidad de memoria con 141 gigabytes disponibles a una impresionante velocidad de transferencia de datos de 4,8 terabytes por segundo. Esta es una mejora considerable con respecto a las capacidades de la generación anterior, ya que cuenta con casi el doble de capacidad de almacenamiento y un sorprendente ancho de banda 2,4 veces mayor que la NVIDIA A100.
La introducción del modelo H200 tiene profundas implicaciones para el futuro de la inteligencia artificial, ya que representa un avance significativo tanto en potencia como en eficiencia informática. Al utilizar algoritmos avanzados y técnicas de aprendizaje automático, este nuevo dispositivo tiene el potencial de revolucionar diversas industrias, como la atención médica, las finanzas, el transporte y la educación, entre otras. Su capacidad para procesar grandes cantidades de datos de forma rápida y precisa lo convierte en una herramienta indispensable para la toma de decisiones en estos sectores. Además, su interfaz fácil de usar permite que incluso personas sin conocimientos técnicos accedan y se beneficien de sus capacidades. En general, el modelo H200 promete cambiar las reglas del juego en el mundo de la IA, con infinitas posibilidades de innovación y crecimiento.
Se prevé que la implementación de H200 produzca avances sustanciales en el rendimiento, como un aumento en la velocidad de inferencia para Llama 2, un modelo de lenguaje grande que cuenta con 70 mil millones de parámetros, en comparación con su predecesor H100. Además, se cree que futuras mejoras de software seguirán generando notables ventajas de rendimiento y mejoras asociadas con H200.
NVIDIA ha anunciado recientemente que su próxima placa de servidor HGX H200 vendrá en configuraciones de cuatro y ocho vías, y esta última ofrecerá un rendimiento impresionante.
El HGX H200 ofrece una notable potencia computacional de aprendizaje profundo basada en FP8 de 32 petaflops junto con una impresionante cantidad de 1,1 terabytes de memoria agregada de alta velocidad, lo que lo convierte en la opción óptima tanto para IA generativa como para tareas informáticas de alto rendimiento.
Además de las interconexiones de alta velocidad NVIDIA NVLink y NVSwitch, los usuarios encontrarán una integración perfecta con los componentes y el software de los sistemas HGX H100.
La utilización de la inteligencia artificial generativa y la computación de alto rendimiento (HPC) requiere que una cantidad sustancial de datos se procese rápidamente a través de una memoria GPU amplia y veloz para generar soluciones inteligentes, como afirma Ian Buck, vicepresidente de hiperescala y alta Computación de rendimiento en NVIDIA. La plataforma NVIDIA H200, ampliamente considerada como la principal solución de supercomputación de IA de extremo a extremo, se ha mejorado aún más para abordar problemas globales urgentes de manera más efectiva y rápida que antes.
Te invitamos a participar en una animada conversación sobre este artículo en nuestra plataforma de foros.
*️⃣ Enlace fuente: