Lemonade 11.9，一個開源的本地 AI 伺服器，已發布，其中包含對 AMD 的 ROCm HRX 後端的實驗性支援，最初適用於 Radeon RX 7900 系列和 Strix Halo APU。 這個新的後端旨在透過提供更優化且以客戶為中心的 ROCm 子集，來提升 AMD 硬體的效能。
最新版本的 Lemonade 專注於透過本地硬體（包括 GPU、CPU 和 NPU）提供「100% 免費且私密」的 AI 使用。 包含 Llama.cpp HRX 後端，與 AMD HRX Runtime 合作，是 11.9 版本的主要功能。 HRX 被描述為 ROCm 生態系統內的新發展，也是 AMD Loom/Hyperloom 努力的一部分，於 AMD Advancing AI 活動上宣布。
根據 hrx-system GitHub 儲存庫， “HRX 系統是一組最小的運行時組件，提供目前在 ROCm 內發送的 HIP 的替代實施。 它為與 AMD 的 GPU、NPU 和 CPU 產品的低延遲、高性能整合提供了一個共同的基礎。” AMD 工程師 Stella Laurenzo 在 GGML 討論中解釋說，HRX 的開發是由於缺乏 AMD 原生後端和優化客戶端庫以實現其矽的最佳效能所帶來的成本所驅動。
Laurenzo 也指出，ROCm 最初是為資料中心市場開發的，在與客戶端作業系統整合和部署時，經常面臨挑戰。 HRX 旨在成為 ROCm 的更輕量化、更專注的子集，針對這些使用案例進行優化。 它代表著轉向 Loom IR，作為 AMD 硬體的自訂中間表示語言，建立在先前使用 MLIR 和 SPIR-V 的工作之上。
閱讀原始報道
💬 评论
📜 评论政策