Gunakan catatan perangkat keras sebagai pemeriksaan realitas cepat sebelum Anda menarik model.
AI Lokal, dikatalogkan dengan jelas
Temukan yang tepat
model terbuka
untuk pekerjaan tersebut.
Panduan praktis untuk model open-weight yang mumpuni, dengan konteks, lisensi, dan catatan perangkat keras yang Anda perlukan sebelum mengunduh.
74 modelstitik awal yang dikurasi
9 jalurteks, kode, visi & lainnya
Lokal terlebih dahulucatatan perangkat keras disertakan
Daftar pilihan
Pilih titik awal Anda
Cari berdasarkan model atau organisasi, lalu simpan yang layak untuk diuji.
Jalankan pertama yang lebih baik
Model hanyalah separuh dari keputusan.
Panjang konteks, kuantisasi, dan memori yang tersedia sama pentingnya dengan skor tolok ukur.
Bobot terbuka tidak selalu berarti hak penggunaan yang sama. Baca kartu model.
Model lokal kecil yang sesuai dengan alur kerja Anda lebih baik daripada model besar yang tidak dapat Anda jalankan.
Panduan lapangan
Menjalankan model secara lokal
Ollama adalah titik awal termudah. llama.cpp menawarkan kontrol lebih, sementara LM Studio memberi Anda antarmuka desktop yang ramah.
Bobot bukanlah keseluruhan tagihan memori. Percakapan yang lebih panjang memerlukan ruang tambahan untuk cache KV, jadi mulailah dengan konteks yang lebih pendek.
Kuantisasi 4-bit yang baik biasanya merupakan titik ideal antara kualitas dan model yang benar-benar muat di mesin Anda.
Kecepatan, penggunaan alat, dan kualitas prompt Anda bersifat pribadi. Gunakan katalog ini untuk membuat daftar pendek, lalu uji secara lokal.