Используйте примечание к оборудованию для быстрой проверки реальности перед загрузкой модели.
Локальный ИИ, четко каталогизированный
Найдите подходящую
открытая модель
для работы.
Практическое руководство по функциональным моделям с открытыми весами, содержащее контекст, лицензию и примечания к оборудованию, которые вам нужны перед загрузкой.
59 моделейкурируемые отправные точки
7 направленийтекст, код, зрение и многое другое
Локально в первую очередьвключены примечания к оборудованию
Шорт-лист
Выберите отправную точку
Ищите по модели или организации, затем сохраняйте те, которые стоит протестировать.
Лучший первый запуск
Модель — это только половина решения.
Длина контекста, квантование и доступная вам память имеют такое же значение, как и оценка в бенчмарке.
Открытые веса не всегда означают одинаковые права на использование. Прочитайте карточку модели.
Небольшая локальная модель, которая подходит для вашего рабочего процесса, лучше, чем большая модель, которую вы не можете запустить.
Полевое руководство
Запуск модели локально
Ollama — самая простая отправная точка. llama.cpp предлагает больше контроля, а LM Studio предоставляет удобный графический интерфейс.
Веса — это не все расходы памяти. Длинные диалоги требуют дополнительного места для KV-кэша, поэтому начните с более короткого контекста.
Хорошая 4-битная квантование — это обычно золотая середина между качеством и моделью, которая действительно помещается на вашем устройстве.
Скорость, использование инструментов и качество ваших промптов индивидуальны. Используйте этот каталог, чтобы составить шорт-лист, а затем протестируйте его локально.