Intel 更新 LLM-Scaler-vLLM 以支援 vLLM 0.26

Intel 發布了其 LLM-Scaler-vLLM 專案的新測試版。 此更新旨在為在 Intel Arc (Pro) 顯示卡硬體上執行 vLLM（一種語言模型）提供更順暢的體驗。 最新版本支援 vLLM 0.26，並以基於 Docker 的設定方式提供，專為 Intel GPU 進行了優化。 這旨在簡化在 Intel 顯示卡上啟動 vLLM 的過程。

有帮助吗？ 👍 0 👎 0

---

閱讀原始報道