Ollama เป็นจุดเริ่มต้นที่ง่ายที่สุด llama.cpp ให้การควบคุมที่มากกว่า ในขณะที่ LM Studio มอบอินเทอร์เฟซเดสก์ท็อปที่เป็นมิตรให้กับคุณ

น้ำหนักของโมเดลไม่ใช่ทั้งหมดของหน่วยความจำที่ต้องใช้ การสนทนาที่ยาวขึ้นต้องการพื้นที่เพิ่มเติมสำหรับ KV cache ดังนั้นควรเริ่มต้นด้วยบริบทที่สั้นลง

การทำ quantisation ระดับ 4-bit ที่ดีมักจะเป็นจุดสมดุลระหว่างคุณภาพและโมเดลที่สามารถใช้งานได้จริงบนเครื่องของคุณ

ความเร็ว การใช้เครื่องมือ และคุณภาพของพรอมต์เป็นเรื่องส่วนบุคคล ใช้แคตตาล็อกนี้เพื่อสร้างรายการสั้นๆ แล้วนำไปทดสอบในเครื่องของคุณ