Bir modeli çekmeden önce hızlı bir gerçeklik kontrolü olarak donanım notunu kullanın.
Yerel YZ, net bir şekilde kataloglandı
Doğru olanı bulun
açık model
iş için.
İndirmeden önce ihtiyacınız olan bağlam, lisans ve donanım notlarıyla birlikte yetenekli açık ağırlıklı modeller için pratik bir rehber.
59 modelseçilmiş başlangıç noktaları
7 şeritmetin, kod, görüntü ve daha fazlası
Yerel önceliklidonanım notları dahil
Kısa liste
Başlangıç noktanızı seçin
Modele veya organizasyona göre arayın, ardından test etmeye değer olanları kaydedin.
Daha iyi bir ilk çalıştırma
Model kararın sadece yarısıdır.
Bağlam uzunluğu, nicemleme ve mevcut belleğiniz, bir kıyaslama puanı kadar önemlidir.
Açık ağırlıklar her zaman aynı kullanım hakları anlamına gelmez. Model kartını okuyun.
İş akışınıza uyan küçük bir yerel model, çalıştıramayacağınız büyük bir modelden daha iyidir.
Saha rehberi
Yerel olarak bir model çalıştırma
Ollama en kolay başlangıç noktasıdır. llama.cpp daha fazla kontrol sunarken, LM Studio size kullanıcı dostu bir masaüstü arayüzü sağlar.
Ağırlıklar tüm bellek faturasını oluşturmaz. Daha uzun konuşmalar KV önbelleği için ekstra alana ihtiyaç duyar, bu yüzden daha kısa bir bağlamla başlayın.
İyi bir 4-bit nicemleme, genellikle kalite ile makinenize gerçekten sığan bir model arasındaki en uygun noktadır.
Hız, araç kullanımı ve istemlerinizin kalitesi kişiseldir. Bir kısa liste oluşturmak için bu kataloğu kullanın, ardından yerel olarak test edin.