在拉取模型之前,请使用硬件说明作为快速的现实检查。
开源模型图谱
v159 个模型精选起点
7 个通道文本、代码、视觉及更多
本地优先包含硬件说明
精选列表
选择您的起点
按模型或组织搜索,然后保存值得测试的模型。
更好的首次运行体验
模型只是决策的一半。
上下文长度、量化以及您的可用内存与基准测试分数同样重要。
开放权重并不总是意味着相同的使用权限。请阅读模型卡片。
适合您工作流程的小型本地模型胜过您无法运行的大型模型。
实战指南
在本地运行模型
Ollama 是最简单的起点。llama.cpp 提供更多控制,而 LM Studio 则为您提供友好的桌面界面。
权重并不是内存占用的全部。更长的对话需要额外的空间来存储 KV 缓存,因此请从较短的上下文开始。
良好的 4-bit 量化通常是质量与模型在机器上实际运行之间的最佳平衡点。
速度、工具使用和提示词质量因人而异。使用此目录制作候选列表,然后在本地进行测试。
