
Red Hat lanza la comunidad llm-d para potenciar la inferencia distribuida de IA generativa a gran escala
Red Hat, líder global en soluciones de código abierto, ha presentado llm-d, un nuevo proyecto con el que busca responder a uno de los retos más urgentes del futuro de la inteligencia artificial generativa: la inferencia a gran escala. Este desarrollo se centra en mejorar el rendimiento y la eficiencia con la que los modelos de lenguaje generativos (LLM) ejecutan tareas reales en entornos de producción. llm-d ha sido diseñado desde el principio para aprovechar al máximo entornos nativos de Kubernetes, combinando una arquitectura distribuida basada en vLLM y un innovador sistema de enrutamiento de red inteligente con conciencia de IA. Gracias a esta combinación, el sistema es capaz de desplegar nubes de inferencia que se ajustan a los más