La Computación de Alto Rendimiento (HPC) se ha establecido como un pilar fundamental en el campo tecnológico, abordando problemas de gran escala y velocidad inalcanzables mediante métodos de computación tradicionales. Sin embargo, esta capacidad avanzada conlleva sus propios desafíos, en particular, la aparición de cuellos de botella en los procesos de datos.
El problema inicialmente se presenta con el manejo de grandes volúmenes de datos. Por ejemplo, procesar un conjunto de datos de texto de 1TB puede ser sencillo, pero el escenario cambia radicalmente cuando el volumen de datos aumenta a 1 PB o más, y la complejidad de los problemas matemáticos involucrados se intensifica.
Una solución inicial sería cargar los datos de manera serial en la memoria del computador para su procesamiento. No obstante, aquí aparece el primer gran obstáculo: la velocidad de almacenamiento en comparación con la memoria y el CPU. Esta diferencia de velocidad entre componentes implica que el rendimiento del sistema estará limitado por el componente más lento.
Para abordar este desafío, una alternativa es dividir el conjunto de datos en partes más pequeñas y distribuirlas en diferentes computadoras para su análisis y resolución en paralelo. Sin embargo, este enfoque asume que los datos pueden dividirse sin perder significado y que la ejecución puede ser paralela sin alterar el resultado final. Además, requiere la integración de una herramienta que orqueste tanto la división de datos como la gestión simultánea de múltiples computadoras.
Otro desafío surge con la necesidad de interconexión física y lógica entre múltiples computadoras para manejar la carga de trabajo. La red introduce problemas de fiabilidad y rendimiento adicionales. Por ejemplo, la pérdida o retraso de datos en la red puede afectar gravemente la ejecución paralela.
En escenarios donde los grandes conjuntos de datos incluyen dependencias estructurales, la complejidad aumenta. El procesamiento de datos requerirá un gobernador inteligente para gestionar y organizarlos de manera óptima. Sin esto, incluso teniendo suficientes recursos de almacenamiento y computación, es posible que no se utilicen de manera eficiente o correcta.
En paralelo a estos problemas de datos y red, existen desafíos físicos inherentes a los computadores individuales diseñados para operaciones de alto rendimiento. La generación de calor en la CPU y las limitaciones en el tamaño de los módulos de memoria física y los sistemas de almacenamiento local juegan un papel crucial en la determinación de cómo se pueden procesar grandes conjuntos de datos.
Un enfoque alternativo podría ser el uso de múltiples computadoras, pero tratándolas como una sola entidad. Sin embargo, esto introduce el concepto de Tiempo Medio Entre Fallos (MTBF), un valor crítico en HPC debido a su naturaleza paralelizada. La posibilidad de fallo en un sistema de computación agrupado es significativamente mayor que en máquinas individuales. Por ejemplo, la falla de un solo disco duro en un clúster puede causar una falla crítica en todo el sistema. Este riesgo se incrementa con el tamaño y la cantidad de datos que se deben analizar en pequeñas partes en numerosas instancias de computación paralela.
Con clusters de supercomputación, el MTBF puede ser tan bajo como varios minutos. Si el tiempo de ejecución necesario para resolver las tareas excede este valor, se deben incluir mecanismos que aseguren que la pérdida potencial de componentes individuales no afecte al sistema en su totalidad. Sin embargo, cada salvaguarda añadida introduce un costo adicional y una posible penalización en el rendimiento.
Aunque la ejecución paralela puede parecer demasiado compleja, en la práctica es el único método viable para resolver algunos problemas matemáticos a gran escala. Los límites físicos de los procesadores individuales y las consideraciones de enfriamiento se convierten en factores críticos, dictando el rendimiento que un solo procesador puede alcanzar.
Finalmente, la solución óptima puede ser el uso de múltiples computadoras tratadas como una única entidad unificada, pero esto presenta sus propios desafíos únicos. La necesidad de un programador de datos se vuelve esencial. Este debe ser lo suficientemente rápido para no introducir penalizaciones de rendimiento, consciente de la topología de la infraestructura en la que opera, y capaz de escalar según sea necesario.
En resumen, no hay atajos en la Computación de Alto Rendimiento. Cada configuración de HPC es única y requiere un enfoque diferente. En Canonical, entendemos los enormes desafíos que enfrentan los profesionales del HPC y queremos ayudar a simplificar algunos de los problemas centrales del mundo del HPC, haciendo que el software y las herramientas de HPC sean más accesibles, fáciles de usar y mantener. Nuestro objetivo es optimizar las cargas de trabajo de los clientes de HPC y reducir sus costos, tanto en hardware como en facturas de electricidad, utilizando aplicaciones y utilidades de código abierto de la comunidad HPC y de nuestro propio software.
