开源模型图谱
Loading...
开源模型图谱 — 本地 AI 指南

本地 AI,清晰编目

找到合适的
开放模型
助力工作。

一份关于高性能开放权重模型的实用指南,包含您在下载前所需的上下文、许可证和硬件说明。

59 个模型精选起点
7 个通道文本、代码、视觉及更多
本地优先包含硬件说明

精选列表

选择您的起点

按模型或组织搜索,然后保存值得测试的模型。

更好的首次运行体验

模型只是决策的一半。

上下文长度、量化以及您的可用内存与基准测试分数同样重要。

从适配性开始

在拉取模型之前,请使用硬件说明作为快速的现实检查。

选择您了解的许可证

开放权重并不总是意味着相同的使用权限。请阅读模型卡片。

测试您的真实提示词

适合您工作流程的小型本地模型胜过您无法运行的大型模型。

实战指南

在本地运行模型

1. 选择引擎

Ollama 是最简单的起点。llama.cpp 提供更多控制,而 LM Studio 则为您提供友好的桌面界面。

2. 为上下文留出空间

权重并不是内存占用的全部。更长的对话需要额外的空间来存储 KV 缓存,因此请从较短的上下文开始。

3. 先尝试 Q4

良好的 4-bit 量化通常是质量与模型在机器上实际运行之间的最佳平衡点。

4. 衡量您的工作流程

速度、工具使用和提示词质量因人而异。使用此目录制作候选列表,然后在本地进行测试。

开源模型图谱请务必与原始发布者核实模型条款。