Sử dụng ghi chú phần cứng như một bước kiểm tra thực tế nhanh chóng trước khi bạn tải mô hình.
AI cục bộ, được lập danh mục rõ ràng
Tìm đúng
mở mô hình
cho công việc.
Hướng dẫn thực tế về các mô hình trọng số mở có khả năng, với ngữ cảnh, giấy phép và ghi chú phần cứng bạn cần trước khi tải xuống.
59 mô hìnhcác điểm bắt đầu được tuyển chọn
7 lànvăn bản, mã, hình ảnh & nhiều hơn nữa
Ưu tiên cục bộghi chú phần cứng đi kèm
Danh sách rút gọn
Chọn điểm bắt đầu của bạn
Tìm kiếm theo mô hình hoặc tổ chức, sau đó lưu những mô hình đáng thử nghiệm.
Lần chạy đầu tiên tốt hơn
Mô hình chỉ là một nửa quyết định.
Độ dài ngữ cảnh, lượng tử hóa và bộ nhớ khả dụng của bạn cũng quan trọng không kém điểm chuẩn.
Trọng số mở không phải lúc nào cũng có nghĩa là quyền sử dụng giống nhau. Hãy đọc thẻ mô hình.
Một mô hình cục bộ nhỏ phù hợp với quy trình làm việc của bạn sẽ tốt hơn một mô hình lớn mà bạn không thể chạy.
Hướng dẫn thực địa
Chạy mô hình cục bộ
Ollama là điểm bắt đầu dễ dàng nhất. llama.cpp cung cấp nhiều quyền kiểm soát hơn, trong khi LM Studio mang đến cho bạn giao diện máy tính thân thiện.
Trọng số không phải là toàn bộ chi phí bộ nhớ. Các cuộc hội thoại dài hơn cần thêm không gian cho bộ nhớ đệm KV, vì vậy hãy bắt đầu với ngữ cảnh ngắn hơn.
Định lượng 4-bit tốt thường là điểm cân bằng giữa chất lượng và mô hình thực sự phù hợp với máy của bạn.
Tốc độ, việc sử dụng công cụ và chất lượng câu lệnh của bạn là tùy thuộc vào cá nhân. Sử dụng danh mục này để lập danh sách rút gọn, sau đó kiểm tra cục bộ.