ИНТЕЛЛЕКТ НА УСТРОЙСТВЕ
Ваше ИИ-пространство
Все готово для локального запуска — когда будет подключен движок Android.
Этот веб-предпросмотр не запускает GGUF и не предоставляет API. Движок llama.cpp, сервис Android и нативное хранилище должны быть интегрированы в проект Capacitor.
Обзор
ПРИВАТНЫЙ ЧАТ
Чат
Общайтесь с моделью, запущенной прямо на устройстве.
ЛОКАЛЬНАЯ БИБЛИОТЕКА
Модели
Управляйте GGUF-файлами, которые вы хотите использовать в LocalMind.
Предварительный просмотр может считывать имя и размер выбранного файла, но не может скопировать его в постоянное хранилище или загрузить в llama.cpp. В Android подключите селектор документов и нативный мост.
Ни одна модель не выбрана по умолчанию.
Ваша библиотека начинается здесь
Добавьте файлы .gguf, чтобы организовать свою коллекцию. Для вывода требуется нативная интеграция llama.cpp.
Производительность
Целевой объем памяти не гарантирован: потребление зависит от модели, контекста, кэша и операционной системы.
ДОСТУП В ЛОКАЛЬНОЙ СЕТИ
API-сервер
Используйте свой телефон в качестве локального эндпоинта для приложений в той же сети Wi-Fi.
Веб-предпросмотр не открывает порты. В скомпилированном Android-приложении локальный сервер работает, пока приложение активно, находится в той же сети и загружена модель.
Используйте порт от 1024 до 65535.
Ключи, созданные здесь, хранятся в этом приложении. Предпросмотр не аутентифицирует запросы без нативного сервиса.
curl http://IP_DO_CELULAR:8080/v1/chat/completions \
-H "Authorization: Bearer SUA_CHAVE" \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Olá!"}]}'В Android используйте указанный адрес, действительный ключ и загруженную модель; телефон и компьютер должны находиться в одной локальной сети.
SFEU · Запатентовано Eric Almeida Montanario
Рисуйте пальцем или мышью. Нажмите «Закрыть», чтобы вернуться к использованию экрана.
