Nutzen Sie den Hardware-Hinweis als schnellen Realitätscheck, bevor Sie ein Modell herunterladen.
Lokale KI, übersichtlich katalogisiert
Finden Sie das richtige
offenes Modell
für die Aufgabe.
Ein praktischer Leitfaden zu leistungsfähigen Modellen mit offenen Gewichten, mit dem Kontext, der Lizenz und den Hardware-Hinweisen, die Sie vor dem Herunterladen benötigen.
59 ModelleKuratierte Startpunkte
7 SpurenText, Code, Vision & mehr
Lokal zuerstHardware-Hinweise enthalten
Die engere Auswahl
Wählen Sie Ihren Ausgangspunkt
Suchen Sie nach Modell oder Organisation und speichern Sie dann die Modelle, die einen Test wert sind.
Ein besserer erster Durchlauf
Das Modell ist nur die halbe Entscheidung.
Kontextlänge, Quantisierung und Ihr verfügbarer Speicher sind genauso wichtig wie ein Benchmark-Ergebnis.
Offene Gewichte bedeuten nicht immer die gleichen Nutzungsrechte. Lesen Sie die Modellkarte.
Ein kleines lokales Modell, das in Ihren Arbeitsablauf passt, ist besser als ein großes Modell, das Sie nicht ausführen können.
Feldhandbuch
Ein Modell lokal ausführen
Ollama ist der einfachste Ausgangspunkt. llama.cpp bietet mehr Kontrolle, während LM Studio Ihnen eine benutzerfreundliche Desktop-Oberfläche bietet.
Gewichte sind nicht die gesamte Speicherrechnung. Längere Konversationen benötigen zusätzlichen Platz für den KV-Cache, beginnen Sie also mit einem kürzeren Kontext.
Eine gute 4-Bit-Quantisierung ist normalerweise der beste Kompromiss zwischen Qualität und einem Modell, das tatsächlich auf Ihre Maschine passt.
Geschwindigkeit, Werkzeugnutzung und die Qualität Ihrer Prompts sind individuell. Nutzen Sie diesen Katalog, um eine engere Auswahl zu treffen und diese dann lokal zu testen.