Lemonade 11.9, сървър за локален AI с отворен код, беше пуснат с експериментална поддръжка за AMD’s ROCm HRX бекенд, първоначално за Radeon RX 7900 серия и Strix Halo APU. Този нов бекенд има за цел да подобри производителността на AMD хардуера, като предостави по-оптимизиран и ориентиран към клиента подмножество на ROCm.
Последната версия на Lemonade се фокусира върху предоставянето на AI употреба „100% безплатна и поверителна“ чрез локален хардуер, включително графични процесори, процесори и NPU. Включването на Llama.cpp HRX бекенда, работещ с AMD HRX Runtime, е ключова характеристика на версия 11.9. HRX е описан като ново развитие в екосистемата ROCm и част от усилията на AMD Loom/Hyperloom, обявени на събитието AMD Advancing AI.
Според хранилището hrx-system в GitHub, „Системата HRX е колекция от минимални runtime компоненти, предоставящи алтернативна реализация на HIP, както се доставя в момента в ROCm. Тя предоставя обща основа за интеграция с ниска латентност и висока производителност с GPU, NPU и CPU продуктите на AMD.“ Инженерът на AMD, Стела Лоренцо, обясни в дискусия в GGML, че разработването на HRX е мотивирано от разходите за липса на native бекенди на AMD и оптимизирани клиентски библиотеки за оптимална производителност на техния силиций.
Лоренцо също отбеляза, че ROCm, първоначално разработен за пазара на центрове за данни, често е изправен пред предизвикателства при интегриране и внедряване в клиентски операционни системи. HRX е предназначен да бъде по-лек и фокусиран подмножество на ROCm, оптимизиран за тези случаи на употреба. Той представлява преход към Loom IR като език за персонализирано междинно представяне за AMD хардуер, надграждайки предишната работа с MLIR и SPIR-V.
Прочетете оригиналното отразяване
💬 Коментари
📜 Правила за коментари