Confluent, compañía perteneciente a IBM, ha presentado nuevas funcionalidades destinadas al desarrollo de Streamhouse, una innovadora arquitectura de datos diseñada para mantener actualizada la información empresarial. Su objetivo es facilitar que los agentes de inteligencia artificial, las aplicaciones y las soluciones de análisis de datos puedan tomar decisiones y llevar a cabo acciones basadas en información actualizada.

Con la disponibilidad general de Lightning Tables en AWS, Confluent incorpora una nueva capacidad a su plataforma de transmisión de datos en tiempo real, que pasa a integrar cinco funciones esenciales: transmitir, conectar, procesar, gobernar y consultar datos. De esta manera, la compañía reúne en una única plataforma las herramientas necesarias para desarrollar una arquitectura Streamhouse.

Confluent desempeña además un papel fundamental en la estrategia de datos de IBM, al combinar el procesamiento de flujos de información en tiempo real con las soluciones de integración, gobernanza e inteligencia artificial de IBM, tanto en entornos híbridos como en diferentes infraestructuras tecnológicas.

Por qué las empresas necesitan una arquitectura Streamhouse

Los lagos de datos (data lakes), los almacenes de datos (data warehouses) y las arquitecturas lakehouse se diseñaron principalmente para generar informes y ejecutar otros procesos por lotes. A medida que los agentes de IA asumen más tareas en las empresas, necesitan tomar decisiones basándose en información distribuida entre distintos sistemas, cada uno con su propia frecuencia de actualización. Cuando estos sistemas ofrecen visiones distintas del estado actual del negocio, los agentes pueden actuar a partir de información desactualizada o contradictoria. Y esas acciones pueden repercutir en otros flujos de trabajo.

Una arquitectura Streamhouse aborda este problema mediante la captura, el procesamiento, la gobernanza y la puesta a disposición continua del contexto actualizado del negocio para agentes, aplicaciones y herramientas de analítica.

Veamos el siguiente ejemplo ilustrativo de cómo una aerolínea gestiona la cancelación de un vuelo:

• Actualmente, dispone de distintos sistemas que mantienen visiones contradictorias de una misma operación. El sistema de operaciones de vuelo registra dónde se encuentra el avión; el de planificación, cuándo está previsto que despegue; y el de reservas, qué asientos están disponibles. Cuando estos sistemas se actualizan en momentos diferentes, un agente autónomo encargado de gestionar nuevas reservas puede crear un itinerario que parece viable en cada uno de ellos, pero que no funciona en la práctica: hay un asiento disponible, pero el avión no llegará a tiempo para que el pasajero pueda realizar su conexión. Los equipos de atención al cliente y los sistemas de notificaciones pueden actuar también sobre esa información contradictoria, agravando las consecuencias de la incidencia.

• Con una Streamhouse, cada cambio puede actualizar una visión compartida de las operaciones de la aerolínea. Cuando cambia la ubicación de un avión, se retrasa una salida o se reserva un asiento, el sistema de origen envía esa actualización a un flujo continuo de eventos. Streamhouse integra todas esas actualizaciones para ofrecer un contexto de negocio actualizado y ponerlo a disposición de los agentes encargados de gestionar nuevas reservas, los equipos de atención al cliente y las aplicaciones mientras trabajan. En lugar de reunir información procedente de sistemas que se actualizan por separado, todos pueden consultar conjuntamente la ubicación del avión, la hora de salida y la disponibilidad de asientos antes de ofrecer al pasajero un nuevo itinerario.

Las empresas ya están obteniendo resultados. Accenture utiliza una arquitectura Streamhouse impulsada por Confluent para conectar los datos de todas sus operaciones a nivel global.

“Con presencia en más de 120 países, nuestra empresa operaba con arquitecturas heredadas de procesamiento por lotes y conexiones punto a punto, que generaban duplicidades, aumentaban la carga operativa y retrasaban la disponibilidad de los datos para tareas analíticas. La adopción de una arquitectura Streamhouse basada en Confluent permite transformar grandes volúmenes de eventos en productos de datos en tiempo real, gobernados y reutilizables, que conectan los sistemas operativos y analíticos. Gracias a la automatización de la infraestructura y a la conectividad empresarial de Confluent, nuestros desarrolladores trabajan en un entorno estandarizado, sin tener que crear integraciones a medida ni gestionar manualmente el movimiento de datos. Esta base de datos continua ha reducido de meses a días el tiempo necesario para obtener información útil y ha acortado los tiempos de generación de informes, permitiendo a nuestros equipos centrarse en desarrollar soluciones de IA de alto valor para nuestros 800.000 empleados”.

​Qué hace diferente a una arquitectura Streamhouse

Una Streamhouse se basa en tres principios arquitectónicos: actualización continua, carácter crítico para el negocio y descentralización. Mantiene el contexto del negocio constantemente actualizado, está diseñada para cumplir los niveles de servicio exigidos en entornos de producción y permite acceder a los datos allí donde se encuentran, sin necesidad de centralizarlos previamente. Además, convive con los almacenes de datos (data warehouses) y las arquitecturas lakehouse existentes, a los que añade una capa operativa en tiempo real para facilitar la toma de decisiones y la ejecución de acciones.

“Como plataforma de comercio nativa de IA que ofrece experiencias de compra personalizadas y ventajas operativas y financieras a los comerciantes, Extend necesita una gran capacidad de adaptación para gestionar la rápida incorporación de nuevos comerciantes, los ajustes de precios en tiempo real y la detección inmediata del fraude. Inicialmente, nos encontramos con las limitaciones de las colas de mensajería tradicionales y los lagos de datos estáticos, que carecían de capacidades para reproducir eventos, garantizar la persistencia de los datos y aplicar esquemas estrictos a gran escala. La implementación de una arquitectura Streamhouse 100 % serverless, basada en Confluent Cloud, convierte Kafka en nuestra fuente de referencia para las operaciones. Esto permite que los microservicios posteriores consuman y consulten datos en tiempo real de forma asíncrona, sin alterar los contratos establecidos. Esta base de streaming, inherentemente desacoplada, proporciona la flexibilidad y la capacidad de respuesta necesarias para ampliar nuestras operaciones, adaptarnos a las señales del mercado en tiempo real e impulsar flujos de trabajo de IA agéntica”.

La plataforma de data streaming de Confluent ya ofrece una arquitectura Streamhouse completa.

La plataforma de data streaming (DSP) de Confluent proporciona una base unificada para construir una Streamhouse. En su núcleo se encuentra Apache Kafka®, que captura y transmite los eventos del negocio. Sin embargo, por sí solo, Kafka requiere que los equipos integren otras capacidades para transformar esos eventos en información actualizada y útil para el negocio. La DSP reúne todas estas funcionalidades en una única plataforma, a la que ahora se incorpora Query como quinto pilar, junto a Stream, Connect, Process y Govern. Entre las principales capacidades y novedades de cada uno de estos pilares destacan:

• Stream, basado en Apache Kafka y el motor Kora, proporciona una base duradera y escalable para capturar y transmitir eventos de negocio entre distintos sistemas, con una latencia inferior al milisegundo en las pruebas internas de Confluent. La latencia real puede variar en función de la configuración y la carga de trabajo.
• Connect, con más de 150 conectores totalmente gestionados y personalizados, permite incorporar datos procedentes de sistemas empresariales a Kafka y distribuirlos a otros sistemas. La gestión híbrida de conectores amplía las opciones de administración de estas conexiones.
• Process utiliza Apache Flink para combinar, enriquecer y obtener contexto de negocio cerca del origen a medida que los datos cambian. Además, incorpora capacidades de procesamiento por lotes que permiten inicializar cargas de trabajo de streaming a partir de datos existentes.
• Govern ayuda a los equipos a descubrir, clasificar y proteger los datos mediante funcionalidades de trazabilidad, catálogo, calidad, cifrado, gestión de esquemas y control de acceso.
• Query pone el contexto de negocio actualizado a disposición de las herramientas de analítica, los agentes y las aplicaciones.

Query permite aprovechar los datos en streaming para analítica, agentes y aplicaciones, a través de la interfaz más adecuada para cada caso de uso:

• Confluent Tableflow pone los datos en streaming a disposición de los lakehouses y data warehouses en formatos de tabla abiertos, listos para su análisis.
• Real-Time Context Engine proporciona a los agentes de IA contexto de negocio actualizado a través del Model Context Protocol (MCP).
• Lightning Tables ofrece a las aplicaciones acceso al estado actual del negocio mediante SQL y API de baja latencia, lo que les permite responder a medida que cambian las condiciones.

Lightning Tables: acceso rápido al estado actual del negocio

Ya disponible de forma general en AWS, Lightning Tables en Confluent Cloud es una capa de consulta de solo lectura que almacena de forma persistente los datos de Apache Kafka y los materializa en tablas, manteniéndolas actualizadas a medida que se producen cambios. De este modo, permite consultar al instante el estado actual del negocio desde agentes de IA, aplicaciones y herramientas de analítica. Estas son sus principales características:

• Actualización de los datos y rendimiento de las consultas: En las pruebas internas de Confluent, el tiempo transcurrido desde la creación de nuevos datos hasta su disponibilidad para consulta es de aproximadamente 100 milisegundos, con una latencia de consulta de entre 10 y 100 milisegundos y una capacidad para procesar más de 1.000 consultas por segundo.
• Menores costes y complejidad: permite ofrecer datos de forma continua mediante una capa de servicio totalmente gestionada, sin necesidad de desarrollar procesos ETL, bases de datos o sistemas de caché independientes.
• Múltiples interfaces de consulta: ofrece acceso a través de MCP, integrado en Real-Time Context Engine para aplicaciones de IA, así como mediante SQL y API directa.
• Gobernanza unificada: permite aplicar esquemas, trazabilidad y políticas de acceso desde la captura de los datos hasta su puesta a disposición.
• Evolución de esquemas: facilita la gestión de los cambios en los esquemas de datos para evitar incompatibilidades en las aplicaciones que los utilizan posteriormente.
• Almacén de características (Feature Store): permite calcular características (features) mediante Flink y almacenarlas para casos de uso de aprendizaje automático, incluida la personalización en tiempo real.

“La próxima era de la IA empresarial estará marcada por aquellos agentes que sepan qué está ocurriendo en el negocio en el mismo momento en que actúan”, afirmó Shaun Clowes, director general de Confluent y Data en IBM. “Eso es lo que puede ofrecer una Streamhouse. Con Lightning Tables, nuestra plataforma de data streaming proporciona a cada agente y aplicación una visión actualizada y gobernada del negocio. Esto permite a las empresas detectar antes las señales de fraude, atender a los clientes en el momento adecuado y gestionar sus operaciones basándose en lo que ocurre realmente en cada momento, en lugar de en lo que sucedía el día anterior”.