Intel actualiza LLM-Scaler-vLLM para vLLM 0.26

Intel ha lanzado una nueva versión beta de su proyecto LLM-Scaler-vLLM. La actualización está diseñada para proporcionar una experiencia más fluida al ejecutar vLLM, un modelo de lenguaje, en hardware gráfico Intel Arc (Pro). La última versión es compatible con vLLM 0.26 y se ofrece como una configuración basada en Docker, específicamente optimizada para las GPU de Intel. Esto tiene como objetivo simplificar el proceso de poner en funcionamiento vLLM en las tarjetas gráficas de Intel.

¿Fue útil? 👍 0 👎 0

---

Leer la cobertura original