Intel ने अपने LLM-Scaler-vLLM प्रोजेक्ट का एक नया बीटा संस्करण जारी किया है। यह अपडेट vLLM, एक भाषा मॉडल को Intel Arc (Pro) ग्राफिक्स हार्डवेयर पर चलाने के लिए एक सहज अनुभव प्रदान करने के लिए डिज़ाइन किया गया है। नवीनतम संस्करण vLLM 0.26 का समर्थन करता है और विशेष रूप से Intel GPU के लिए अनुकूलित Docker-आधारित सेटअप के रूप में वितरित किया जाता है। इसका उद्देश्य Intel ग्राफिक्स कार्ड पर vLLM को चालू करने की प्रक्रिया को सरल बनाना है।
मूल कवरेज पढ़ें
💬 टिप्पणियाँ
📜 टिप्पणी नीति