La empresa global de plataformas en la nube, Fastly, ha anunciado el lanzamiento de su nuevo Acelerador de IA, una solución de almacenamiento en caché semántico diseñada para optimizar el rendimiento y reducir costos en aplicaciones de IA generativa basadas en modelos de lenguaje a gran escala (LLM).

Rendimiento y eficiencia mejorados

El Acelerador de IA de Fastly promete tiempos de respuesta hasta 9 veces más rápidos que los métodos tradicionales, marcando un avance significativo en la resolución de los cuellos de botella que afectan a las aplicaciones de IA generativa. La herramienta, que inicialmente ofrecía soporte para OpenAI ChatGPT, ahora también se integra con Microsoft Azure AI Foundry, ampliando su alcance.

La implementación es notablemente sencilla para los desarrolladores. Según Fastly, basta con actualizar el punto de acceso de la API de la aplicación, lo que, en muchos casos, requiere tan solo un cambio en una línea de código. Este enfoque simplifica enormemente la integración para quienes ya trabajan con aplicaciones de IA generativa.

Reducción de llamadas a la API y costes

Una de las características clave del Acelerador de IA es su capacidad para reducir la dependencia de llamadas repetitivas a las APIs de los proveedores de IA, mejorando tanto el rendimiento como la experiencia del usuario. Esta funcionalidad no solo reduce los costes operativos, sino que también desbloquea el verdadero potencial de las aplicaciones basadas en modelos de lenguaje.

Opiniones de expertos

Dave McCarthy, vicepresidente de investigación de Cloud and Edge Services en IDC, destacó la importancia de esta innovación:

«El Acelerador de IA de Fastly representa un paso significativo hacia la solución de los problemas de rendimiento asociados con el auge de la IA generativa. Su enfoque único de almacenamiento en caché semántico no solo reduce costos, sino que también maximiza el rendimiento sin comprometer la velocidad ni la eficiencia. Esto refuerza la posición de Fastly como un jugador clave en el dinámico panorama de la nube en el borde.»

Acceso para clientes actuales

Los clientes existentes de Fastly pueden acceder al Acelerador de IA directamente a través de sus cuentas, lo que les permite beneficiarse de manera inmediata de esta nueva herramienta diseñada para revolucionar el rendimiento de las aplicaciones de IA generativa.

Con esta solución, Fastly refuerza su papel en el mercado de tecnologías edge, brindando a los desarrolladores y empresas una herramienta poderosa para mantenerse a la vanguardia en un entorno de IA en rápida evolución.

vía: edgeir.com