Ollama เป็นจุดเริ่มต้นที่ง่ายที่สุด llama.cpp ให้การควบคุมที่มากกว่า ในขณะที่ LM Studio มอบอินเทอร์เฟซเดสก์ท็อปที่เป็นมิตร

น้ำหนักไม่ใช่ทั้งหมดของหน่วยความจำที่ใช้ การสนทนาที่ยาวขึ้นต้องการพื้นที่เพิ่มเติมสำหรับ KV cache ดังนั้นควรเริ่มต้นด้วยบริบทที่สั้นลง

การทำ Quantisation ระดับ 4-bit ที่ดีมักจะเป็นจุดสมดุลระหว่างคุณภาพและโมเดลที่สามารถใช้งานบนเครื่องของคุณได้จริง

ความเร็ว การใช้เครื่องมือ และคุณภาพของพรอมต์เป็นเรื่องส่วนบุคคล ใช้แคตตาล็อกนี้เพื่อสร้างรายการสั้นๆ แล้วทดสอบในเครื่องของคุณ