Gunakan catatan perangkat keras sebagai pemeriksaan realitas cepat sebelum Anda menarik model.
AI Lokal, dikatalogkan dengan jelas
Temukan yang tepat
buka model
untuk pekerjaan tersebut.
Panduan praktis untuk model bobot terbuka yang mumpuni, dengan konteks, lisensi, dan catatan perangkat keras yang Anda perlukan sebelum mengunduh.
59 modeltitik awal yang dikurasi
7 jalurteks, kode, visi & lainnya
Lokal terlebih dahulucatatan perangkat keras disertakan
Daftar pilihan
Pilih titik awal Anda
Cari berdasarkan model atau organisasi, lalu simpan yang layak diuji.
Jalankan pertama yang lebih baik
Model hanyalah setengah dari keputusan.
Panjang konteks, kuantisasi, dan memori yang tersedia sama pentingnya dengan skor tolok ukur.
Bobot terbuka tidak selalu berarti hak penggunaan yang sama. Baca kartu model.
Model lokal kecil yang sesuai dengan alur kerja Anda lebih baik daripada model besar yang tidak dapat Anda jalankan.
Panduan lapangan
Menjalankan model secara lokal
Ollama adalah titik awal termudah. llama.cpp menawarkan kontrol lebih, sementara LM Studio memberi Anda antarmuka desktop yang ramah.
Bobot bukanlah keseluruhan beban memori. Percakapan yang lebih panjang memerlukan ruang tambahan untuk cache KV, jadi mulailah dengan konteks yang lebih pendek.
Kuantisasi 4-bit yang baik biasanya merupakan titik ideal antara kualitas dan model yang benar-benar pas di mesin Anda.
Kecepatan, penggunaan alat, dan kualitas prompt Anda bersifat pribadi. Gunakan katalog ini untuk membuat daftar pendek, lalu uji secara lokal.