Ollama هو أسهل نقطة بداية. يوفر llama.cpp تحكماً أكبر، بينما يمنحك LM Studio واجهة سطح مكتب سهلة الاستخدام.

الأوزان ليست كل تكلفة الذاكرة. المحادثات الأطول تحتاج إلى مساحة إضافية لذاكرة التخزين المؤقت KV، لذا ابدأ بسياق أقصر.

تكميم 4-بت الجيد هو عادةً النقطة المثالية بين الجودة والنموذج الذي يتناسب فعلياً مع جهازك.

السرعة، واستخدام الأدوات، وجودة مطالباتك هي أمور شخصية. استخدم هذا الكتالوج لإنشاء قائمة مختصرة، ثم اختبرها محلياً.