Confluent, Inc., empresa pionera en streaming de datos, ha anunciado la disponibilidad general (GA) de sus integraciones con Delta Lake y Databricks Unity Catalog dentro de Confluent Tableflow, además de la disponibilidad en acceso anticipado (EA) para Microsoft OneLake. Con estas mejoras, Tableflow se posiciona como una solución integral y totalmente gestionada que conecta sistemas operativos, analíticos y de inteligencia artificial (IA) en entornos híbridos y multicloud. Gracias a estas nuevas funciones, la plataforma permite materializar tópicos de Apache Kafka® directamente en tablas de Delta Lake o Apache Iceberg™, incorporando controles de calidad automatizados, sincronización de catálogos y niveles avanzados de seguridad empresarial.

Desde su lanzamiento, Tableflow ha transformado la forma en que las organizaciones preparan y gestionan datos en tiempo real para su análisis, eliminando las tareas ETL complejas y las integraciones manuales con Lakehouse que ralentizan los procesos. Con la disponibilidad general de las integraciones con Delta Lake y Unity Catalog, junto con su compatibilidad con OneLake, Confluent refuerza su papel en el ecosistema multicloud. Estas actualizaciones proporcionan una plataforma unificada que conecta los datos en tiempo real y analíticos bajo una gobernanza empresarial sólida, impulsando el desarrollo de aplicaciones de IA y análisis instantáneo que ayudan a las empresas a mantener su ventaja competitiva.

“Las empresas buscan sacar el máximo partido a sus datos en tiempo real, pero la falta de  integración entre el procesamiento de datos en tiempo real y el análisis siempre ha sido uno de los principales obstáculos”, señala Shaun Clowes, director de producto de Confluent. “Con Tableflow, eliminamos esa barrera al facilitar la conexión directa entre Kafka con los lakehouses gestionados. Esto significa que los datos de alta calidad están listos para el análisis y la inteligencia artificial en el momento en que se crean”, señala.

Listo para la producción a escala empresarial

La versión GA incorpora nuevas funciones de nivel corporativo que posicionan a Tableflow como una de las soluciones de transmisión a tabla más completas, fiables y seguras disponibles en la actualidad, lo que permite a las organizaciones:

• Simplificar el análisis: la compatibilidad con Delta Lake (GA) convierte los tópicos de Kafka directamente en tablas de Delta Lake almacenadas en sistemas de almacenamiento de objetos en la nube (Amazon S3 o Azure Data Lake Storage). Ahora se pueden habilitar simultáneamente los formatos Delta Lake e Iceberg por tópico para un análisis flexible y entre distintos formatos.
• Unificar la gobernanza: la compatibilidad con Unity Catalog (GA) sincroniza automáticamente los metadatos, el esquema y las políticas de acceso entre Tableflow y Databricks Unity Catalog para una gobernanza centralizada y una gestión de datos consistente en toda la organización.
• Mejorar la fiabilidad: Dead Letter Queue captura y aísla los registros malformados sin interrumpir el flujo de datos. Este sistema de gestión de errores respaldado por los esquemas de datos, proporciona una mayor transparencia, una recuperación más rápida y una calidad de datos integrada.
• Ahorrar tiempo y reducir la complejidad. La funcionalidad Upsert actualiza e inserta automáticamente los registros a medida que se actualizan los datos, lo que mantiene las tablas Delta Lake e Iceberg consistentes, sin duplicados y siempre listas para el análisis, sin necesidad de un mantenimiento manual.
• Reforzar la seguridad. Bring Your Own Key amplía las claves de cifrado gestionadas por el cliente a Tableflow para un control total de los datos en reposo. Esto garantiza el cumplimiento normativo en sectores altamente regulados como los servicios financieros, la sanidad y el sector público.

Basándose en capacidades ya existentes como la evolución de esquemas, la compresión y el mantenimiento automatizado de tablas, así como en integraciones con Apache Iceberg, AWS Glue y Snowflake Open Catalog, Tableflow ofrece ahora una plataforma integral para los equipos que necesitan que sus datos en tiempo real estén listos para su análisis, estén regulados y sean resilientes al instante.

“En Attune proporcionar información en tiempo real a partir de los datos del Internet de las cosas (IoT) de edificios inteligentes es fundamental para nuestra misión”, afirma David Kinney, arquitecto jefe de soluciones de Attune. “Con apenas unos clics, Confluent Tableflow nos permite materializar tópicos de Kafka en tablas fiables y listas para el análisis, lo que nos proporciona una visibilidad precisa tanto de la interacción de los clientes como del comportamiento de los dispositivos. Estos conjuntos de datos de alta calidad ahora alimentan análisis, modelos de aprendizaje automático o machine learning (ML) y aplicaciones de IA generativa, todos ellos construidos sobre una base de datos fiable. Tableflow ha simplificado nuestra arquitectura de datos y, al mismo tiempo, ha abierto nuevas oportunidades sobre cómo aprovechar los datos de manera más efectiva”, añade.

Ahora disponible en Microsoft OneLake

Tableflow también está disponible ahora en acceso anticipado en Azure, integrado con OneLake, lo que amplía su presencia y ofrece a los clientes una mayor flexibilidad en las implementaciones multicloud. Esta novedad tiene un impacto muy relevante en las organizaciones que utilizan Azure Databricks y Microsoft Fabric, donde ahora se admiten plenamente las integraciones de Delta Lake y Unity Catalog. Juntos ofrecen una experiencia de análisis fluida y controlada, que abarca desde flujos de datos en tiempo real hasta cloud lakehouses. Con estas mejoras, ahora los clientes pueden:

• Reducir el tiempo de obtención de información. Materializa instantáneamente los tópicos de Kafka como tablas abiertas en Microsoft OneLake y consúltalos desde Microsoft Fabric o la herramienta que elijas mediante las API de tablas de OneLake, sin necesidad de ETL manual ni gestión de esquema.
• Eliminar la complejidad y los costes operativos. Automatiza la asignación de esquemas, la conversión de tipos y el mantenimiento de tablas para sus datos de streaming, lo que permite la gobernanza y la fiabilidad en los flujos de trabajo de análisis nativos de Azure.
• Habilitar los servicios de análisis y Azure AI. Integra a la perfección los servicios de análisis y AI de Azure utilizando las API de Microsoft OneLake Table para potenciar la información en tiempo real y los casos de uso de AI. También, gestiona fácilmente las implementaciones a través de la interfaz de usuario de Confluent Cloud, la CLI o Terraform.

El lanzamiento de EA supone un hito importante en la ampliación de la presencia multicloud de Tableflow y el fortalecimiento de la colaboración de Confluent con Microsoft y Databricks.

“El acceso a datos en tiempo real es fundamental para que los clientes puedan tomar decisiones rápidas y precisas», afirma Dipti Borkar, vicepresidenta y directora general de Microsoft OneLake e ISV Ecosystem. “Ahora que Confluent Tableflow está disponible en Microsoft Azure, los clientes pueden transmitir eventos de Kafka a OneLake como tablas de Apache Iceberg o Delta Lake y consultarlos al instante a través de Microsoft Fabric y motores de terceros populares utilizando las API de OneLake Table, lo que reduce la complejidad y agiliza la toma de decisiones”, afirma.