Sử dụng ghi chú phần cứng như một bước kiểm tra thực tế nhanh chóng trước khi bạn tải mô hình.
AI cục bộ, được phân loại rõ ràng
Tìm đúng
mô hình mở
cho công việc.
Một hướng dẫn thực tế về các mô hình mã nguồn mở có khả năng, với các ghi chú về ngữ cảnh, giấy phép và phần cứng bạn cần trước khi tải xuống.
74 modelscác điểm bắt đầu được tuyển chọn
9 lànvăn bản, mã, hình ảnh & nhiều hơn nữa
Ưu tiên cục bộbao gồm ghi chú phần cứng
Danh sách rút gọn
Chọn điểm bắt đầu của bạn
Tìm kiếm theo mô hình hoặc tổ chức, sau đó lưu những cái đáng để thử nghiệm.
Một lần chạy đầu tiên tốt hơn
Mô hình chỉ là một nửa quyết định.
Độ dài ngữ cảnh, lượng tử hóa và bộ nhớ khả dụng của bạn cũng quan trọng không kém điểm chuẩn.
Trọng số mở không phải lúc nào cũng có nghĩa là quyền sử dụng giống nhau. Hãy đọc thẻ mô hình.
Một mô hình cục bộ nhỏ phù hợp với quy trình làm việc của bạn sẽ tốt hơn một mô hình lớn mà bạn không thể chạy được.
Hướng dẫn thực địa
Chạy mô hình cục bộ
Ollama là điểm khởi đầu dễ dàng nhất. llama.cpp cung cấp nhiều quyền kiểm soát hơn, trong khi LM Studio mang đến cho bạn giao diện máy tính để bàn thân thiện.
Trọng số không phải là toàn bộ chi phí bộ nhớ. Các cuộc trò chuyện dài hơn cần thêm không gian cho bộ nhớ đệm KV, vì vậy hãy bắt đầu với ngữ cảnh ngắn hơn.
Định lượng 4-bit tốt thường là điểm cân bằng giữa chất lượng và một mô hình thực sự phù hợp với máy của bạn.
Tốc độ, việc sử dụng công cụ và chất lượng câu lệnh của bạn là tùy thuộc vào cá nhân. Hãy sử dụng danh mục này để lập danh sách rút gọn, sau đó kiểm tra cục bộ.