Confluent ha presentado Kora, un motor de datos en la nube que potencia su servicio Apache Kafka®. Este motor de última generación no está disponible para descarga ni se puede ejecutar fuera del control de Confluent, pero comprender su funcionamiento interno revela las ventajas que ofrece y cómo mejora el servicio de Kafka a gran escala.
Aunque Kora no reemplaza a Kafka de código abierto para aquellos que prefieren gestionar su propio sistema, permite a Confluent ofrecer un servicio en la nube a una escala fenomenal. A continuación, se detallan las razones detrás de su creación, las ventajas que proporciona y un vistazo a su funcionamiento.
¿Por qué construimos Kora?
Cuando Confluent lanzó su servicio en la nube en 2017, la visión era ofrecer Kafka en la nube de manera completa. Sin embargo, inicialmente, este servicio se limitaba a una versión de Kafka de código abierto sobre una plataforma de control basada en KubernetesKubernetes (referido en inglés comúnmente como “K8s”) ..., con facturación, observabilidad y controles operativos básicos. Aunque era la mejor oferta de Kafka en su tiempo, aún estaba lejos de la visión original.
Se hizo evidente que para cumplir con esa visión, no bastaba con ejecutar Kafka en servidores de AWS. Los sistemas exitosos en la nube son muy diferentes en su arquitectura, operación y experiencia para el cliente. Kora fue diseñado para superar estas limitaciones.
Diferencias entre sistemas en la nube y autogestionados
Los sistemas de datos en la nube enfrentan retos distintos a los de los sistemas autogestionados de código abierto. Apache Kafka está diseñado para ser fácil de configurar y ejecutar con diversas herramientas DevOps, proporcionando alto rendimiento en cualquier entorno, actualizaciones anuales y operado por personal generalista.
En cambio, un sistema en la nube debe servir a miles de clientes, ser multitenant desde su creación, ser operado principalmente por software, ofrecer aislamiento y seguridad robustos, y permitir innovaciones rápidas por parte de un equipo grande.
Capacidades de Kora
Para cumplir con estos requisitos, Confluent desarrolló Kora, un motor 100% compatible con todas las versiones soportadas del protocolo Kafka, pero diseñado como un servicio verdaderamente gestionado. Algunas de sus capacidades incluyen:
- Multitenencia: Soporta miles de inquilinos con fuerte aislamiento.
- Despliegue Global: Funciona en más de 85 regiones en tres nubes.
- Eficiencia Operativa: Operado a gran escala por un equipo pequeño, siendo aproximadamente 1000 veces más eficiente que un equipo promedio de Kafka.
- Desagregación de Componentes: Maneja redes, computación, metadatos y almacenamiento de forma separada.
- Gestión Inteligente de Datos: Optimiza la localización de datos entre memoria, SSDs y almacenamiento en la nube para maximizar el rendimiento.
- Optimización de Costos: Reduce costos de infraestructura mediante la automatización y gestión eficiente de recursos.
Beneficios para los clientes
Kora no solo mejora las operaciones de Confluent, sino que también ofrece beneficios significativos a sus clientes, tales como:
- Elasticidad: Permite un escalamiento 30 veces más rápido.
- Confiabilidad: Más de 10 veces mayor disponibilidad, garantizando un SLA de 99.99%.
- Rendimiento: Menor latencia en comparación con Kafka autogestionado en hardware similar.
- Costo: Estructura de costos optimizada que ahorra dinero a los clientes.
- Compatibilidad: Totalmente compatible con el protocolo de Kafka.
Operaciones automatizadas y actualizaciones continuas
Una de las características clave de Kora es su capacidad para ser operado principalmente por software, reduciendo la necesidad de intervención humana. Esto incluye verificaciones continuas de rendimiento y corrección de datos, así como la detección y mitigación automática de problemas de infraestructura.
Kora también se actualiza continuamente, lo que significa que los clientes siempre tienen acceso a las últimas mejoras y parches de seguridad sin necesidad de realizar actualizaciones manuales.
En resumen, Kora representa un avance significativo en cómo Confluent ofrece Apache Kafka en la nube, brindando una plataforma robusta, eficiente y segura para las cargas de trabajo críticas de sus clientes.
Más información en Confluent blog.
