モデルをプルする前に、ハードウェアに関する注記をクイックチェックとして使用してください。
ローカルAI、明確なカタログ化
最適な
オープンモデルを
見つけよう。
ダウンロード前に必要なコンテキスト、ライセンス、ハードウェアに関する注記を備えた、有能なオープンウェイトモデルの実践ガイド。
74 models厳選された出発点
9レーンテキスト、コード、ビジョンなど
ローカルファーストハードウェアに関する注記を含む
ショートリスト
出発点を選択
モデルや組織で検索し、テストする価値のあるものを保存してください。
より良い初回実行のために
モデルは決定の半分に過ぎません。
コンテキスト長、量子化、および利用可能なメモリは、ベンチマークスコアと同じくらい重要です。
オープンウェイトが常に同じ使用権を意味するとは限りません。モデルカードを読んでください。
ワークフローに適合する小さなローカルモデルは、実行できない巨大なモデルよりも優れています。
フィールドガイド
モデルをローカルで実行する
Ollamaが最も簡単な出発点です。llama.cppはより詳細な制御が可能で、LM Studioは使いやすいデスクトップインターフェースを提供します。
重みだけがメモリ消費のすべてではありません。長い会話にはKVキャッシュのための追加の空き容量が必要なので、短いコンテキストから始めてください。
適切な4ビット量子化は、通常、品質とマシンで実際に動作するモデルとの間のスイートスポットです。
速度、ツール使用、プロンプトの品質は人それぞれです。このカタログを使ってショートリストを作成し、ローカルでテストしてください。