Lemonade 11.9, un servidor local de IA de código abierto, ha sido lanzado con soporte experimental para el backend AMD ROCm HRX, inicialmente para las series Radeon RX 7900 y APU Strix Halo. Este nuevo backend tiene como objetivo mejorar el rendimiento en hardware AMD proporcionando un subconjunto de ROCm más optimizado y centrado en el cliente.
La última versión de Lemonade se centra en proporcionar un uso de la IA “100% gratuito y privado” a través de hardware local, incluidos GPU, CPU y NPU. La inclusión del backend Llama.cpp HRX, que funciona con el AMD HRX Runtime, es una característica clave del lanzamiento 11.9. HRX se describe como un nuevo desarrollo dentro del ecosistema ROCm y parte de los esfuerzos de AMD Loom/Hyperloom, anunciados en el evento AMD Advancing AI.
Según el repositorio de GitHub hrx-system, “El Sistema HRX es una colección de componentes de tiempo de ejecución mínimos que proporcionan una implementación alternativa de HIP tal como se envía actualmente dentro de ROCm. Proporciona un sustrato común para la integración de baja latencia y alto rendimiento con los productos GPU, NPU y CPU de AMD”. La ingeniera de AMD, Stella Laurenzo, explicó en una discusión de GGML que el desarrollo de HRX se vio motivado por los costos de no tener backends nativos de AMD y bibliotecas de cliente optimizadas para un rendimiento óptimo en su silicio.
Laurenzo también señaló que ROCm, desarrollado originalmente para el mercado de centros de datos, a menudo enfrentaba desafíos al integrarse e implementarse en sistemas operativos de cliente. HRX pretende ser un subconjunto más ligero y centrado de ROCm, optimizado para estos casos de uso. Representa un cambio hacia Loom IR como un lenguaje de representación intermedia personalizado para el hardware de AMD, basándose en trabajos anteriores con MLIR y SPIR-V.
Leer la cobertura original
💬 Comentarios
📜 Política de comentarios