Arm, la reconocida empresa de diseño de chips, ha anunciado importantes avances en su misión de facilitar el desarrollo de aplicaciones de inteligencia artificial (IA) y aprendizaje automático (ML) en dispositivos basados en su arquitectura. La compañía está colaborando estrechamente con proveedores de servicios en la nube y marcos de trabajo líderes para crear un entorno que simplifique el proceso de desarrollo de software acelerado por IA en hardware Arm.
Kleidi: La clave para el rendimiento de IA en Arm
El núcleo de esta iniciativa es Arm Kleidi, una tecnología que reúne las últimas herramientas de desarrollo y recursos críticos para impulsar la colaboración técnica y la innovación en el ámbito del aprendizaje automático. Desde su lanzamiento hace solo cuatro meses, Kleidi ya está acelerando el desarrollo y desbloqueando importantes mejoras de rendimiento en IA en las CPU de Arm.
Integración con frameworks líderes
Arm ha trabajado en estrecha colaboración con la comunidad de PyTorch para integrar las bibliotecas Kleidi directamente en el framework. Esto permite a los desarrolladores de aplicaciones beneficiarse automáticamente de mejoras dramáticas en el rendimiento tan pronto como se lanzan nuevas versiones del framework, sin necesidad de realizar pasos adicionales.
Los resultados de esta integración son notables:
- Un chatbot de demostración de Arm, impulsado por el modelo de lenguaje Llama 3 de Meta y ejecutándose en procesadores AWS Graviton, logró respuestas de chat en tiempo real por primera vez en PyTorch.
- Se observó un tiempo 2,5 veces más rápido para generar el primer token después de integrar la tecnología Kleidi en el código fuente de PyTorch, medido en AWS Graviton4.
- Al aplicar optimizaciones a torch.compile para hacer un uso eficiente de la tecnología Kleidi, se lograron ganancias de rendimiento de 1,35 a 2 veces en una variedad de cargas de trabajo de inferencia de modelos de Hugging Face, medidas en AWS Graviton3.
Colaboraciones estratégicas
Arm está trabajando en estrecha colaboración con proveedores de servicios en la nube como AWS y Google, así como con la creciente comunidad de proveedores de software independientes (ISV) de aprendizaje automático, como Databricks. El objetivo es asegurar que los desarrolladores puedan mantenerse al día con la rápida evolución de la IA generativa.
Mejoras en el rendimiento en el edge
Además de los avances en la nube, Arm ha anunciado que KleidiAI se integrará en ExecuTorch, el nuevo tiempo de ejecución de inferencia en dispositivos de PyTorch. Esta integración está programada para completarse en octubre de 2024 y promete emocionantes mejoras de rendimiento para dispositivos edge en una amplia gama de aplicaciones.
El futuro del desarrollo de IA en Arm
Alex Spinelli, recientemente nombrado miembro de la junta directiva de PyTorch, lidera la misión de Arm para empoderar a los desarrolladores de todo el mundo en la creación de capacidades de IA y aplicaciones de vanguardia, aprovechando todo el potencial de la IA de extremo a extremo en Arm.
Con estas iniciativas, Arm continúa su compromiso de hacer que la experiencia del desarrollador sea lo más fluida posible, independientemente de dónde se encuentren en la pila de aprendizaje automático. La empresa está realizando el trabajo duro para que los desarrolladores puedan centrarse en la innovación y la creación de aplicaciones de IA de próxima generación.
vía: ARM news
