Ollama هو أسهل نقطة بداية. يوفر llama.cpp تحكماً أكبر، بينما يمنحك LM Studio واجهة سطح مكتب سهلة الاستخدام.

الأوزان ليست هي فاتورة الذاكرة الكاملة. تحتاج المحادثات الأطول إلى مساحة إضافية لذاكرة التخزين المؤقت KV، لذا ابدأ بسياق أقصر.

تعد مكممة 4-بت الجيدة عادةً هي النقطة المثالية بين الجودة والنموذج الذي يتناسب فعلياً مع جهازك.

السرعة، واستخدام الأدوات، وجودة مطالباتك هي أمور شخصية. استخدم هذا الكتالوج لإنشاء قائمة مختصرة، ثم اختبرها محلياً.