Bir modeli çekmeden önce hızlı bir gerçeklik kontrolü olarak donanım notunu kullanın.
Yerel YZ, net bir şekilde kataloglandı
Doğru olanı bulun
açık model
iş için.
İndirmeden önce ihtiyacınız olan bağlam, lisans ve donanım notlarıyla birlikte yetenekli açık ağırlıklı modellere yönelik pratik bir rehber.
74 modelsseçilmiş başlangıç noktaları
9 şeritmetin, kod, görüntü ve daha fazlası
Önce yereldonanım notları dahil
Kısa liste
Başlangıç noktanızı seçin
Model veya organizasyona göre arayın, ardından test etmeye değer olanları kaydedin.
Daha iyi bir ilk çalıştırma
Model kararın sadece yarısıdır.
Bağlam uzunluğu, nicemleme ve mevcut belleğiniz, bir kıyaslama puanı kadar önemlidir.
Açık ağırlıklar her zaman aynı kullanım hakları anlamına gelmez. Model kartını okuyun.
İş akışınıza uyan küçük bir yerel model, çalıştıramayacağınız büyük bir modeli yener.
Saha rehberi
Bir modeli yerel olarak çalıştırma
Ollama en kolay başlangıç noktasıdır. llama.cpp daha fazla kontrol sunarken, LM Studio size kullanıcı dostu bir masaüstü arayüzü sağlar.
Ağırlıklar bellek faturasının tamamı değildir. Daha uzun konuşmalar KV önbelleği için ekstra alana ihtiyaç duyar, bu yüzden daha kısa bir bağlamla başlayın.
İyi bir 4-bit nicemleme, genellikle kalite ile makinenizde gerçekten çalışan bir model arasındaki en ideal noktadır.
Hız, araç kullanımı ve istemlerinizin kalitesi kişiseldir. Bir kısa liste oluşturmak için bu kataloğu kullanın, ardından yerel olarak test edin.