Użyj notatki o sprzęcie jako szybkiego sprawdzenia rzeczywistości, zanim pobierzesz model.
Lokalna sztuczna inteligencja, przejrzyście skatalogowana
Znajdź odpowiedni
otwarty model
do zadania.
Praktyczny przewodnik po wydajnych modelach o otwartych wagach, zawierający kontekst, licencję i uwagi dotyczące sprzętu, których potrzebujesz przed pobraniem.
59 modeliwyselekcjonowane punkty startowe
7 ścieżektekst, kod, wizja i więcej
Lokalnie przede wszystkimuwagi dotyczące sprzętu w zestawie
Krótka lista
Wybierz swój punkt startowy
Szukaj według modelu lub organizacji, a następnie zapisz te, które warto przetestować.
Lepsze pierwsze uruchomienie
Model to tylko połowa decyzji.
Długość kontekstu, kwantyzacja i dostępna pamięć mają równie duże znaczenie, co wynik w benchmarku.
Otwarte wagi nie zawsze oznaczają te same prawa użytkowania. Przeczytaj kartę modelu.
Mały lokalny model, który pasuje do Twojego przepływu pracy, jest lepszy niż duży model, którego nie możesz uruchomić.
Przewodnik terenowy
Uruchamianie modelu lokalnie
Ollama to najłatwiejszy punkt startowy. llama.cpp oferuje większą kontrolę, podczas gdy LM Studio zapewnia przyjazny interfejs pulpitu.
Wagi to nie cały koszt pamięci. Dłuższe konwersacje wymagają dodatkowego miejsca na pamięć podręczną KV, więc zacznij od krótszego kontekstu.
Dobra kwantyzacja 4-bitowa to zazwyczaj złoty środek między jakością a modelem, który faktycznie mieści się na Twoim urządzeniu.
Szybkość, użycie narzędzi i jakość Twoich promptów są kwestią osobistą. Użyj tego katalogu, aby stworzyć krótką listę, a następnie przetestuj ją lokalnie.