Intel обновява LLM-Scaler-vLLM за vLLM 0.26

Intel пусна нова бета версия на проекта LLM-Scaler-vLLM. Обновлението е предназначено да осигури по-плавно изживяване при работа с vLLM, езиков модел, на графичен хардуер Intel Arc (Pro). Най-новата версия поддържа vLLM 0.26 и се доставя като Docker-базирана настройка, специално оптимизирана за графични процесори Intel. Това има за цел да опрости процеса на привеждане на vLLM в действие на графичните карти на Intel.

Беше ли полезно? 👍 0 👎 0

---

Прочетете оригиналното отразяване