Use a nota de hardware como uma verificação rápida de realidade antes de baixar um modelo.
IA local, claramente catalogada
Encontre o certo
modelo aberto
para o trabalho.
Um guia prático para modelos de pesos abertos capazes, com o contexto, licença e notas de hardware que você precisa antes de baixar.
59 modelospontos de partida selecionados
7 faixastexto, código, visão e mais
Local primeironotas de hardware incluídas
A lista curta
Escolha seu ponto de partida
Pesquise por modelo ou organização e salve os que valem a pena testar.
Uma primeira execução melhor
O modelo é apenas metade da decisão.
O comprimento do contexto, a quantização e sua memória disponível importam tanto quanto uma pontuação de benchmark.
Pesos abertos nem sempre significam os mesmos direitos de uso. Leia o cartão do modelo.
Um modelo local pequeno que se ajusta ao seu fluxo de trabalho supera um modelo grande que você não consegue executar.
Guia de campo
Executando um modelo localmente
Ollama é o ponto de partida mais fácil. O llama.cpp oferece mais controle, enquanto o LM Studio oferece uma interface de desktop amigável.
Pesos não são toda a conta de memória. Conversas mais longas precisam de espaço extra para o cache KV, então comece com um contexto mais curto.
Uma boa quantização de 4 bits geralmente é o ponto ideal entre qualidade e um modelo que realmente cabe na sua máquina.
Velocidade, uso de ferramentas e a qualidade dos seus prompts são pessoais. Use este catálogo para criar uma lista curta e, em seguida, teste-a localmente.