मॉडल खींचने से पहले त्वरित वास्तविकता जांच के रूप में हार्डवेयर नोट का उपयोग करें।
स्थानीय एआई, स्पष्ट रूप से सूचीबद्ध
सही खोजें
ओपन मॉडल
काम के लिए।
सक्षम ओपन-वेट मॉडल के लिए एक व्यावहारिक गाइड, जिसमें डाउनलोड करने से पहले आपको आवश्यक संदर्भ, लाइसेंस और हार्डवेयर नोट्स शामिल हैं।
74 modelsक्यूरेटेड शुरुआती बिंदु
9 लेनटेक्स्ट, कोड, विज़न और अधिक
स्थानीय पहलेहार्डवेयर नोट्स शामिल हैं
शॉर्टलिस्ट
अपना शुरुआती बिंदु चुनें
मॉडल या संगठन द्वारा खोजें, फिर उन मॉडलों को सहेजें जो परीक्षण के योग्य हैं।
एक बेहतर पहली रन
मॉडल निर्णय का केवल आधा हिस्सा है।
संदर्भ की लंबाई, क्वांटिज़ेशन और आपकी उपलब्ध मेमोरी बेंचमार्क स्कोर जितनी ही मायने रखती है।
ओपन वेट्स का मतलब हमेशा समान उपयोग के अधिकार नहीं होते हैं। मॉडल कार्ड पढ़ें।
एक छोटा स्थानीय मॉडल जो आपके वर्कफ़्लो में फिट बैठता है, एक बड़े मॉडल से बेहतर है जिसे आप चला नहीं सकते।
फील्ड गाइड
स्थानीय रूप से मॉडल चलाना
Ollama सबसे आसान शुरुआती बिंदु है। llama.cpp अधिक नियंत्रण प्रदान करता है, जबकि LM Studio आपको एक अनुकूल डेस्कटॉप इंटरफ़ेस देता है।
वेट्स ही मेमोरी का पूरा बिल नहीं हैं। लंबी बातचीत के लिए KV कैश के लिए अतिरिक्त जगह की आवश्यकता होती है, इसलिए छोटे संदर्भ से शुरुआत करें।
एक अच्छा 4-बिट क्वांटिज़ेशन आमतौर पर गुणवत्ता और आपके मशीन पर वास्तव में फिट होने वाले मॉडल के बीच का सही संतुलन होता है।
गति, टूल का उपयोग और आपके प्रॉम्प्ट की गुणवत्ता व्यक्तिगत है। एक शॉर्टलिस्ट बनाने के लिए इस कैटलॉग का उपयोग करें, फिर स्थानीय रूप से इसका परीक्षण करें।