Usa la nota sull'hardware come un rapido controllo di realtà prima di scaricare un modello.
IA locale, chiaramente catalogata
Trova quello giusto
modello aperto
per il lavoro.
Una guida pratica ai modelli a pesi aperti capaci, con il contesto, la licenza e le note sull'hardware di cui hai bisogno prima di scaricare.
59 modellipunti di partenza curati
7 corsietesto, codice, visione e altro
Locale primanote sull'hardware incluse
La selezione
Scegli il tuo punto di partenza
Cerca per modello o organizzazione, quindi salva quelli che vale la pena testare.
Un primo avvio migliore
Il modello è solo metà della decisione.
La lunghezza del contesto, la quantizzazione e la memoria disponibile contano tanto quanto il punteggio di un benchmark.
I pesi aperti non significano sempre gli stessi diritti di utilizzo. Leggi la scheda del modello.
Un piccolo modello locale che si adatta al tuo flusso di lavoro è meglio di un modello grande che non puoi eseguire.
Guida pratica
Eseguire un modello localmente
Ollama è il punto di partenza più semplice. llama.cpp offre maggiore controllo, mentre LM Studio ti offre un'interfaccia desktop intuitiva.
I pesi non rappresentano l'intero costo della memoria. Le conversazioni più lunghe richiedono spazio extra per la cache KV, quindi inizia con un contesto più breve.
Una buona quantizzazione a 4-bit è solitamente il compromesso ideale tra qualità e un modello che si adatta effettivamente alla tua macchina.
Velocità, utilizzo degli strumenti e qualità dei prompt sono soggettivi. Usa questo catalogo per creare una lista, poi testala localmente.