Canonical y Intel optimizan la compresión de datos en centros de datos con la aceleración por hardware de Intel® Quick Assist Technology (QAT), reduciendo el consumo de CPU y mejorando la eficiencia del almacenamiento en Ceph.
La creciente demanda de almacenamiento de datos en la nube y en centros de datos ha impulsado la búsqueda de soluciones que optimicen el uso del hardware sin comprometer el rendimiento. En este contexto, Canonical e Intel han desarrollado una integración que permite a Ceph aprovechar Intel® Quick Assist Technology (QAT) para reducir la carga de trabajo del procesador en tareas de compresión, mejorando la eficiencia sin sacrificar velocidad.
El Desafío del Almacenamiento a Gran Escala
El costo de almacenamiento de grandes volúmenes de datos se define en gran parte por la estrategia utilizada para proteger la información. Tradicionalmente, existen dos enfoques:
- Múltiples réplicas, lo que aumenta la redundancia pero también el consumo de espacio.
- Codificación de borrado (Erasure Coding), que optimiza el uso del almacenamiento pero requiere mayor capacidad de procesamiento.
La compresión de datos es otra estrategia clave para reducir el espacio ocupado en disco, pero su implementación sin hardware especializado suele aumentar el consumo de CPU y degradar el rendimiento del sistema. La solución a este problema radica en la aceleración por hardware, permitiendo realizar estas tareas sin afectar la capacidad de procesamiento general.
Intel® QAT: Reducción de Carga de CPU y Mayor Eficiencia
Intel® Quick Assist Technology (QAT) es una solución de aceleración por hardware que permite descargar del CPU ciertas tareas computacionalmente intensivas, entre ellas:
- Cifrado y descifrado de datos.
- Compresión y descompresión de información.
Con la llegada de los procesadores Intel® Xeon® de 4ª (Sapphire Rapids) y 5ª generación (Emerald Rapids), los motores de QAT ya no requieren tarjetas PCIe adicionales, sino que están integrados dentro del procesador, facilitando su adopción en entornos empresariales y de centros de datos.
El impacto de esta integración en el almacenamiento con Ceph es significativo, ya que permite mantener altos niveles de rendimiento mientras se reduce la cantidad de almacenamiento utilizada, mejorando la eficiencia y reduciendo costos.
Comparación de Rendimiento: Compresión con y sin QAT
Para evaluar el impacto de la compresión acelerada, se realizaron pruebas con un clúster de 4 nodos Ceph y discos NVMe, utilizando MinIO Warp para simular cargas de trabajo de almacenamiento de objetos.
Resultados Clave:
| Métrica | Sin Compresión | Con Compresión (Sin QAT) | Con Compresión + QAT |
|---|---|---|---|
| Ancho de bandaEl ancho de banda es la capacidad máxima de transferencia d de escritura | 4,66 GBps | Reducción del 50% | 5,05 GBps (+8%) |
| Ancho de banda de lectura | 21,86 GBps | 11,28 GBps (-48%) | 20,88 GBps (-4%) |
| Consumo de CPU | Normal | +150% | Sin impacto |
Ahorro de Espacio: Evaluación de la Compresión
La compresión de datos es especialmente útil en formatos sin compresión previa, lo que permite obtener ahorros significativos de almacenamiento.
| Tipo de Datos | Ratio de Compresión | Ahorro de Espacio |
|---|---|---|
| Datos estructurados (CSV, JSON, Texto) | 1.33 | 25% |
| Imágenes comprimidas (JPEG) | 1.01 | 1% |
| Video sin comprimir (RAW YUV) | 3.13 | 68% |
| Video comprimido (H.264) | 1.00 | 0% |
Los resultados indican que la compresión es más efectiva en datos estructurados y archivos multimedia sin compresión previa, mientras que formatos como JPEG y H.264 no se benefician de una segunda compresión.
Implementación en Entornos Empresariales
Para las empresas interesadas en probar esta solución, Canonical recomienda la implementación de MicroCeph, una versión optimizada de Ceph que simplifica la configuración en entornos de pruebas y producción.
Pasos para Habilitar Intel® QAT en Ceph
- Instalar MicroCeph con compatibilidad para QAT:
snap install microceph --channel=squid/edge/qat --devmode - Instalar el motor QAT en cada nodo de almacenamiento:
sudo apt-get -y install qatengine - Configurar Ceph para habilitar QAT:
ceph config set client.radosgw.gateway qat_compressor_enabled true - Activar la compresión en el almacenamiento de objetos:
rradosgw-admin zone placement modify \ --rgw-zone default \ --placement-id default-placement \ --storage-class STANDARD \ --compression zlib - Verificar la compresión de datos con:
radosgw-admin bucket stats
Impacto en el Mercado de Centros de Datos
La implementación de QAT en Ceph representa un avance clave en la eficiencia del almacenamiento en centros de datos y soluciones cloud empresariales. Entre los beneficios más relevantes se incluyen:
- Reducción de costos operativos al necesitar menos hardware y menos espacio físico.
- Optimización del rendimiento con mayor eficiencia en el uso del CPU.
- Mayor densidad de almacenamiento permitiendo más cargas de trabajo en cada nodo.
- Mejora en la sostenibilidad, reduciendo el consumo de energía en comparación con sistemas tradicionales.
Con el crecimiento de los volúmenes de datos en sectores como banca, salud, telecomunicaciones y comercio electrónico, estas innovaciones son esenciales para mantener la escalabilidad y eficiencia operativa.
Conclusión: Un Nuevo Estándar en Almacenamiento Escalable
La combinación de Ceph, Intel® QAT y Ubuntu abre nuevas posibilidades para almacenamiento eficiente, rentable y de alto rendimiento. Empresas y proveedores de servicios cloud pueden optimizar la infraestructura sin sacrificar velocidad ni capacidad de procesamiento, convirtiendo esta solución en una opción estratégica para entornos de almacenamiento de próxima generación.
vía: Ubuntu
