Используйте примечание к оборудованию как быструю проверку реальности перед загрузкой модели.
Локальный ИИ, четко каталогизированный
Найдите подходящую
открытую модель
для вашей задачи.
Практическое руководство по функциональным моделям с открытыми весами, содержащее информацию о контексте, лицензии и требованиях к оборудованию, необходимую перед загрузкой.
74 modelsкурируемые отправные точки
9 направленийтекст, код, зрение и многое другое
Локально в первую очередьвключая примечания к оборудованию
Избранное
Выберите отправную точку
Ищите по модели или организации, затем сохраняйте те, которые стоит протестировать.
Лучший первый запуск
Модель — это лишь половина решения.
Длина контекста, квантование и доступная вам память имеют такое же значение, как и результаты бенчмарков.
Открытые веса не всегда означают одинаковые права на использование. Прочитайте карточку модели.
Небольшая локальная модель, которая вписывается в ваш рабочий процесс, лучше, чем большая модель, которую вы не можете запустить.
Полевое руководство
Запуск модели локально
Ollama — самая простая отправная точка. llama.cpp предлагает больше контроля, а LM Studio предоставляет удобный графический интерфейс.
Веса — это не все расходы памяти. Длинные диалоги требуют дополнительного места для KV-кэша, поэтому начните с более короткого контекста.
Хорошая 4-битная квантованность — это обычно «золотая середина» между качеством и моделью, которая действительно поместится на вашем устройстве.
Скорость, использование инструментов и качество ваших промптов индивидуальны. Используйте этот каталог, чтобы составить список, а затем протестируйте его локально.