TRÍ TUỆ TRÊN THIẾT BỊ
Không gian AI của bạn
Mọi thứ đã sẵn sàng để chạy cục bộ — khi công cụ Android được kết nối.
Bản xem trước web này không chạy GGUF cũng như không lưu trữ API. Công cụ llama.cpp, dịch vụ Android và bộ nhớ native cần được tích hợp vào dự án Capacitor.
Tổng quan
Trạng thái thời gian thực của thiết bị này
Các mô hình của bạn sẽ xuất hiện ở đây sau khi được thêm.
Chưa có hoạt động nào
TRÒ CHUYỆN RIÊNG TƯ
Chat
Trò chuyện với mô hình chạy ngay trên thiết bị.
THƯ VIỆN CỤC BỘ
Mô hình
Quản lý các tệp GGUF bạn muốn sử dụng với LocalMind.
Bản xem trước có thể đọc tên và kích thước của tệp được chọn, nhưng không thể sao chép vào bộ nhớ cố định hoặc tải vào llama.cpp. Trên Android, hãy kết nối trình chọn tài liệu và cầu nối native.
Không có mô hình nào được chọn làm mặc định.
Thư viện của bạn bắt đầu tại đây
Thêm các tệp .gguf để sắp xếp bộ sưu tập của bạn. Việc suy luận yêu cầu tích hợp llama.cpp gốc.
HIỂN THỊ HỆ THỐNG
Hiệu suất
Các số liệu thực tế sẽ được hiển thị khi được cung cấp bởi công cụ gốc.
Bản xem trước trên trình duyệt không có quyền truy cập đáng tin cậy vào RAM của tiến trình, tải CPU hoặc các số liệu nội bộ của llama.cpp. Sẽ không có ước tính nào được hiển thị dưới dạng số đo.
Mục tiêu bộ nhớ không được đảm bảo: mức tiêu thụ thay đổi tùy theo mô hình, ngữ cảnh, bộ nhớ đệm và hệ điều hành.
TRUY CẬP TRONG MẠNG NỘI BỘ
API Server
Sử dụng điện thoại của bạn làm endpoint cục bộ cho các ứng dụng trong cùng mạng Wi-Fi.
Một máy chủ thực có thể truy cập qua mạng yêu cầu một dịch vụ Android chạy ở chế độ tiền cảnh, quyền truy cập mạng và tích hợp với engine. Trang này không mở cổng mạng.
Sử dụng cổng từ 1024 đến 65535.
Truy cập được bảo vệ
Mỗi yêu cầu phải bao gồm một khóa trong tiêu đề Authorization: Bearer. Đừng bao giờ để lộ endpoint mà không có xác thực.
Các khóa được tạo ở đây sẽ được lưu trong ứng dụng này. Bản xem trước không xác thực các yêu cầu nếu không có dịch vụ gốc.
curl http://IP_DO_CELULAR:8080/v1/chat/completions \
-H "Authorization: Bearer SUA_CHAVE" \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Olá!"}]}'Ví dụ sẽ chỉ hoạt động sau khi tích hợp và khởi chạy dịch vụ HTTP gốc với một mô hình đã được tải.
