Recibe toda la actualidad del sector tech y cloud en tu email de la mano de RevistaCloud.com.

Suscripción boletín

AMD ofrece un rendimiento superior en IA con las aceleradoras AMD Instinct MI325X

AMD (NASDAQ: AMD) ha anunciado hoy nuevas soluciones de aceleradoras y redes que impulsarán la próxima generación de infraestructuras de inteligencia artificial a gran escala: las aceleradoras AMD Instinct™ MI325X, la NIC AMD Pensando™ Pollara 400 y la DPU AMD Pensando Salina. Estas nuevas tecnologías establecen un estándar de rendimiento superior para modelos de IA y centros de datos avanzados.

Las aceleradoras AMD Instinct MI325X, basadas en la arquitectura AMD CDNA™ 3, están diseñadas para ofrecer un rendimiento y eficiencia excepcionales en tareas de IA, como el entrenamiento, ajuste fino e inferencia de modelos de base. En conjunto, estos productos permiten a los clientes y socios de AMD desarrollar soluciones de IA optimizadas y de alto rendimiento a nivel de sistema, rack y centro de datos.

Forrest Norrod, vicepresidente ejecutivo y director general del Grupo de Soluciones para Centros de Datos en AMD, comentó: «AMD sigue cumpliendo con nuestra hoja de ruta, proporcionando a los clientes el rendimiento que necesitan y la flexibilidad que buscan para llevar la infraestructura de IA a escala al mercado con mayor rapidez. Con las nuevas aceleradoras AMD Instinct, los procesadores EPYC y las soluciones de red AMD Pensando, junto con nuestro ecosistema de software abierto, AMD refuerza su experiencia crítica para desarrollar y desplegar soluciones de IA de clase mundial».

AMD Instinct MI325X aumenta el rendimiento líder en IA

Las aceleradoras AMD Instinct MI325X ofrecen una capacidad de memoria y un ancho de banda líderes en el sector, con 256 GB de HBM3E que admiten 6,0 TB/s y ofrecen 1,8 veces más capacidad y 1,3 veces más ancho de banda que el H2001. AMD Instinct MI325X también ofrece 1,3 veces más rendimiento teórico máximo en FP16 y FP8 que el H200.

Este liderazgo de memoria y cálculo puede proporcionar hasta 1,3 veces el rendimiento de inferencia de Mistral 7B en FP16, 1,2 veces el rendimiento en inferencia con Llama 3.1 70B a FP8 y 1,4 veces el rendimiento en inferencia con Mixtral 8x7B a FP16 frente a H200.

Las aceleradoras AMD Instinct MI325X van de camino para los envíos de producción del cuarto trimestre de 2024 y se espera que tengan una amplia disponibilidad de sistemas de un amplio conjunto de proveedores de plataformas, incluyendo Dell Technologies, Eviden, Gigabyte, Hewlett Packard Enterprise, Lenovo, Supermicro y otros a partir del primer trimestre de 2025.

Continuando con su compromiso de mantener una cadencia anual, AMD ha presentado la próxima generación de aceleradoras AMD Instinct MI350 Series. Basadas en la arquitectura AMD CDNA 4, las aceleradoras AMD Instinct MI350 Series están diseñadas para ofrecer una mejora de 35 veces en el rendimiento de inferencia en comparación con aceleradoras basadas en AMD CDNA 3.

AMD Instinct MI350 Series seguirá liderando la capacidad de memoria con hasta 288 GB de memoria HBM3E por aceleradora. Las aceleradoras AMD Instinct MI350 Series están en proceso de estar disponibles durante la segunda mitad de 2025.

Redes IA de nueva generación AMD

AMD aprovecha la DPU programable más extendida para hiperescaladores al impulsar las redes de IA de próxima generación. Dividida en dos partes: el front-end, que entrega datos e información a un clúster de IA, y el back-end, que gestiona la transferencia de datos entre aceleradoras y clústeres, la red de IA es fundamental para garantizar que las CPU y las aceleradoras se utilicen de forma eficiente en la infraestructura de IA.

Para gestionar eficazmente estas dos redes e impulsar el alto rendimiento, la escalabilidad y la eficiencia en todo el sistema, AMD ha presentado la DPU AMD Pensando™ Salina para el front-end y la AMD Pensando™ Pollara 400, la primera AI NIC preparada para Ultra Ethernet Consortium (UEC) del sector, para el back-end.

La DPU AMD Pensando Salina es la tercera generación de la DPU más potente y programable del mundo, que multiplica por dos el rendimiento, el ancho de banda y la escala en comparación con la generación anterior. La DPU AMD Pensando Salina, que admite un rendimiento de 400G para tasas de transferencia de datos rápidas, es un componente fundamental en los clústeres de red front-end de IA, que optimiza el rendimiento, la eficiencia, la seguridad y la escalabilidad de las aplicaciones de IA basadas en datos.

La AMD Pensando Pollara 400, preparada para UEC e impulsada por el motor AMD P4 Programmable, es la primera NIC de IA preparada para UEC del sector. Es compatible con el software RDMA de próxima generación y está respaldada por un ecosistema abierto de redes. AMD Pensando Pollara 400 es fundamental para proporcionar un rendimiento de liderazgo, escalabilidad y eficiencia de la comunicación acelerador a acelerador en redes back-end.

Tanto AMD Pensando Salina DPU como AMD Pensando Pollara 400 se pondrán a disposición de los clientes en el cuarto trimestre de 2024 y su disponibilidad está prevista para el primer semestre de 2025.

El software AMD de IA ofrece nuevas capacidades para la IA generativa

AMD mantiene su inversión en el impulso al software y el ecosistema abierto, para ofrecer nuevas y potentes características y capacidades en la pila de software abierto AMD ROCm™. Dentro de la comunidad de software abierto, AMD impulsa la compatibilidad con los motores de computación de AMD en los marcos, bibliotecas y modelos de IA más utilizados, incluidos PyTorch, Triton, Hugging Face y muchos otros. Este trabajo se traduce en un rendimiento y soporte listos para usar con las aceleradoras AMD Instinct en modelos de IA generativa populares como Stable Diffusion 3, Meta Llama 3, 3.1 y 3.2 y más de un millón de modelos en Hugging Face.

Más allá de la comunidad, AMD continúa avanzando en su pila de software abierto ROCm, aportando las últimas características para apoyar el entrenamiento y la inferencia líderes en cargas de trabajo de IA Generativa. ROCm 6.2 ahora incluye soporte para características críticas de IA como el tipo de datos FP8, Flash Attention 3, Kernel Fusion y más. Con estas nuevas incorporaciones, ROCm 6.2, en comparación con ROCm 6.0, proporciona hasta 2,4 veces más rendimiento en inferencia y 1,8 veces en entrenamiento para diversos LLM.

encuentra artículos

newsletter

Recibe toda la actualidad del sector tech y cloud en tu email de la mano de RevistaCloud.com.

Suscripción boletín

LO ÚLTIMO