Lemonade 11.9, ein Open-Source-Server für lokale KI, wurde mit experimenteller Unterstützung für das AMD ROCm HRX Backend veröffentlicht, zunächst für die Radeon RX 7900 Serie und Strix Halo APUs. Dieses neue Backend zielt darauf ab, die Leistung auf AMD-Hardware zu verbessern, indem es ein optimierteres und kundenorientiertes Subset von ROCm bereitstellt.
Die neueste Version von Lemonade konzentriert sich auf die Bereitstellung einer „100% kostenlosen und privaten“ KI-Nutzung über lokale Hardware, einschließlich GPUs, CPUs und NPUs. Die Einbeziehung des Llama.cpp HRX Backends, das mit der AMD HRX Runtime zusammenarbeitet, ist ein wichtiges Merkmal der 11.9-Version. HRX wird als eine neue Entwicklung innerhalb des ROCm-Ökosystems beschrieben und ist Teil der AMD Loom/Hyperloom-Bemühungen, die auf der AMD Advancing AI-Veranstaltung angekündigt wurden.
Laut dem hrx-system GitHub-Repository ist „Das HRX-System eine Sammlung minimaler Laufzeitkomponenten, die eine alternative Implementierung von HIP bereitstellen, wie sie derzeit innerhalb von ROCm ausgeliefert wird. Es bietet ein gemeinsames Substrat für die Integration mit geringer Latenz und hoher Leistung mit AMDs GPU-, NPU- und CPU-Produkten.“ AMD-Ingenieurin Stella Laurenzo erklärte in einer GGML-Diskussion, dass die Entwicklung von HRX durch die Kosten motiviert war, keine nativen AMD-Backends und optimierten Client-Bibliotheken für eine optimale Leistung auf ihrem Silizium zu haben.
Laurenzo wies auch darauf hin, dass ROCm, das ursprünglich für den Rechenzentrumsmarkt entwickelt wurde, oft Herausforderungen bei der Integration und Bereitstellung in Client-Betriebssystemen hatte. HRX soll ein leichteres, stärker fokussiertes Subset von ROCm sein, das für diese Anwendungsfälle optimiert ist. Es stellt einen Wandel hin zu Loom IR als einer benutzerdefinierten Zwischenrepräsentationssprache für AMD-Hardware dar, die auf früheren Arbeiten mit MLIR und SPIR-V aufbaut.
Originale Berichterstattung lesen
💬 Kommentare
📜 Kommentar-Richtlinie