モデルをプルする前に、ハードウェアの注記をクイックな現実確認として使用してください。
ローカルAI、明確にカタログ化
最適なモデルを見つける
モデルを開く
仕事のために。
ダウンロード前に必要なコンテキスト、ライセンス、ハードウェア注記を備えた、有能なオープンウェイトモデルの実践ガイド。
59モデル厳選された開始点
7レーンテキスト、コード、ビジョンなど
ローカル優先ハードウェアに関する注記
ショートリスト
出発点を選択
モデルや組織で検索し、テストする価値のあるものを保存してください。
より良い初回実行のために
モデルは決定の半分に過ぎません。
コンテキスト長、量子化、および利用可能なメモリは、ベンチマークスコアと同じくらい重要です。
オープンウェイトが常に同じ利用権を意味するとは限りません。モデルカードを読んでください。
ワークフローに適合する小さなローカルモデルは、実行できない大きなモデルよりも優れています。
フィールドガイド
モデルをローカルで実行する
Ollamaが最も簡単な出発点です。llama.cppはより詳細な制御が可能で、LM Studioは使いやすいデスクトップインターフェースを提供します。
重みだけがメモリ消費のすべてではありません。長い会話にはKVキャッシュのための追加領域が必要となるため、まずは短いコンテキストから始めてください。
適切な4ビット量子化は、通常、品質とマシンに収まるモデルサイズのバランスが取れたスイートスポットです。
速度、ツール使用、プロンプトの品質は人それぞれです。このカタログを使ってショートリストを作成し、ローカルでテストしてください。