Akamai la empresa de ciberseguridad y cloud computing que potencia y protege los negocios online, ha presentado Akamai Cloud Inference, para marcar el comienzo de una era de innovación más rápida y eficiente para las organizaciones que buscan convertir los modelos predictivos y de grandes lenguajes (LLMs) en una realidad. Akamai Cloud Inference se ejecuta en Akamai Cloud, la red más distribuida del mundo, para dar respuesta a las crecientes limitaciones de los modelos centralizados en la nube.

“Acercar los datos de IA a los usuarios y dispositivos es difícil y es un terreno donde las nubes heredadas tienen dificultades”, señala Francisco Arnau, vicepresidente de Akamai para España y Portugal.

“Mientras que el duro trabajo de entrenar los LLMs continuará discurriendo en los grandes centros de datos a hiperescala, el trabajo procesable de la inferencia tendrá lugar en el edge donde la red que Akamai ha construido durante las últimas dos décadas y media se convierte en vital para el futuro de la IA y nos diferencia de cualquier otro proveedor de nube del mercado”.

Inferencia de IA en la Akamai Cloud

La nueva solución de Akamai proporciona herramientas para que los ingenieros y desarrolladores de plataformas construyan y ejecuten aplicaciones de IA y cargas de trabajo con grandes volúmenes de datos de forma más cercana a los usuarios finales, proporcionando un rendimiento 3 veces mejor y reduciendo la latencia hasta 2,5 veces. Con la nueva solución, las empresas pueden ahorrar hasta un 86% en inferencias de IA y cargas de trabajo de IA de agentes en comparación con la infraestructura tradicional a hiperescala. Akamai Cloud Inference incluye:

• Computación: Akamai Cloud ofrece un amplio y versátil conjunto de computación, desde CPUs clásicas para una inferencia ajustada hasta potentes opciones de computación acelerada en GPU y las VPU ASIC personalizadas para proporcionar la potencia adecuada para un espectro de desafíos de inferencia de IA. Akamai se integra con el ecosistema empresarial de AI de Nvidia, aprovechando Triton, Tao Toolkit, TensorRT y NvFlare para optimizar el rendimiento de la inferencia de IA en las GPU de Nvidia.

• Gestión de datos: Akamai permite a los clientes liberar todo el potencial de la inferencia de IA con una estructura de datos de vanguardia diseñada específicamente para las cargas de trabajo de IA modernas. Akamai se ha asociado con VAST Data para proporcionar un acceso optimizado a datos en tiempo real para acelerar las tareas relacionadas con la inferencia, esenciales para ofrecer resultados relevantes y una experiencia receptiva. Esto se complementa con un almacenamiento de objetos altamente escalable para gestionar el volumen y la variedad de conjuntos de datos críticos para las aplicaciones de IA, y la integración con los principales proveedores de bases de datos vectoriales, como Aiven y Milvus, para permitir la generación aumentada (RAG). Con esta plataforma de gestión de datos, Akamai almacena de forma segura datos de modelos ajustados y elementos de formación para ofrecer inferencia de IA de baja latencia a escala global.

• Contenedorización: la contenedorización de las cargas de trabajo de IA permite el autoescalado en función de la demanda, la mejora de la resiliencia de las aplicaciones y la portabilidad híbrida-multicloud, optimizando al mismo tiempo el rendimiento y el coste. Con Kubernetes, Akamai ofrece una inferencia de IA más rápida, barata y segura con un rendimiento a escala de petabytes. Respaldado por Linode Kubernetes Engine – Enterprise, una nueva edición empresarial de la plataforma de orquestación Kubernetes de Akamai Cloud diseñada específicamente para cargas de trabajo empresariales a gran escala, y la recientemente anunciada Akamai App Platform, Akamai Cloud Inference es capaz de desplegar rápidamente una plataforma de código abierto Kubernetes preparada para IA de proyectos de Kubernetes de código abierto, incluidos Kserve, KubeFlow y SpinKube. perfectamente integrados para agilizar el despliegue de modelos de IA para la inferencia.

• Edge Compute: para simplificar el método de creación de aplicaciones basadas en IA por parte de los desarrolladores, Akamai AI Inference incluye capacidades WebAssembly (WASM). Al trabajar con proveedores de WASM como Fermyon, Akamai permite que los desarrolladores ejecuten inferencias para LLM directamente desde aplicaciones sin servidor, de modo que los clientes puedan ejecutar código ligero en el extremo para habilitar aplicaciones sensibles a la latencia.

Juntas, estas herramientas crean una potente plataforma para aplicaciones de baja latencia e impulsadas por IA que permite a las empresas ofrecer la experiencia que demandan sus usuarios. Akamai Cloud Inference se ejecuta en la red distribuida masivamente de la empresa, capaz de entregar de forma consistente más de un petabyte por segundo de rendimiento para cargas de trabajo intensivas en datos. Comprende más de 4.100 puntos de presencia a través de más de 1.200 redes en más de 130 países de todo el mundo, Akamai Cloud hace que los recursos informáticos estén disponibles desde la nube hasta el edge, a la vez que acelera el rendimiento de las aplicaciones y aumenta la escalabilidad.

El cambio del entrenamiento a la inferencia

A medida que madura la adopción de la IA, las empresas están reconociendo que el auge en torno a los LLM ha creado una distracción, desviando la atención de la formación y la inferencia distracción, desviando la atención de las soluciones prácticas de IA más adecuadas para resolver problemas empresariales específicos. Los LLM destacan en tareas de propósito general como el resumen, la traducción y la atención al cliente. Se trata de modelos muy grandes que son caros y requieren mucho tiempo de entrenamiento.

Muchas empresas se han visto limitadas por requisitos de arquitectura y costes, incluidos los centros de datos y la potencia computacional, los sistemas de datos bien estructurados, seguros y escalables, y los desafíos que los requisitos de ubicación y seguridad imponen a la latencia de las decisiones. Los modelos ligeros de IA, diseñados para abordar problemas empresariales específicos, pueden optimizarse para sectores concretos, aprovechando los datos propios para crear resultados medibles, y representan un mejor retorno de la inversión para las empresas de hoy.

La inferencia de IA necesita una nube más distribuida

Cada vez más, los datos se generarán fuera de los centros de datos centralizados o de las regiones de la nube. Este cambio está impulsando la demanda de soluciones de IA que potencien la generación de datos más cerca del punto de origen. Esto supone una reconfiguración fundamental de las necesidades de infraestructura a medida que las empresas van más allá de la creación y formación de LLM, hacia el aprovechamiento de los datos para tomar decisiones más rápidas e inteligentes e invertir en experiencias más personalizadas. Las empresas reconocen que pueden generar más valor aprovechando la IA para gestionar y mejorar sus operaciones y procesos empresariales.

Las arquitecturas distribuidas en el nueve y el edge están emergiendo como las preferidas para los casos de uso de inteligencia operativa ya que pueden proporcionar información procesable en tiempo real sobre activos distribuidos, incluso en entornos remotos. Los primeros ejemplos de clientes en la Akamai Cloud incluyen asistencia por voz en el automóvil, gestión de cultivos impulsada por IA, optimización de imágenes para mercados de productos de consumo, experiencias de compra con visualización de prendas virtuales, generadores automatizados de descripciones de productos y analizadores de opiniones de clientes.

“Crear un LLM es como elaborar un mapa: requiere recopilar datos, analizar el terreno y trazar rutas. Es lento y consume muchos recursos, pero una vez construido es muy útil. La inferencia de IA es como utilizar un GPS: aplica instantáneamente esos conocimientos, recalcula en tiempo real y se adapta a los cambios para situarte donde necesites”, añade Arnau. “La inferencia es la próxima frontera de la IA”.