Intel hat eine neue Beta-Version seines LLM-Scaler-vLLM-Projekts veröffentlicht. Das Update soll eine reibungslosere Erfahrung beim Ausführen von vLLM, einem Sprachmodell, auf Intel Arc (Pro) Grafikhardware bieten. Die neueste Version unterstützt vLLM 0.26 und wird als Docker-basierte Einrichtung geliefert, die speziell für Intel GPUs optimiert ist. Ziel ist es, den Prozess der Inbetriebnahme von vLLM auf Intel-Grafikkarten zu vereinfachen.
Originale Berichterstattung lesen
💬 Kommentare
📜 Kommentar-Richtlinie