Sebuah LLM memprediksi kata berikutnya berdasarkan distribusi probabilitas. Misalkan 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) P(w 1 ​ ,w 2 ​ ,…,w N ​ ) adalah probabilitas dari urutan kata. Perplexity didefinisikan sebagai: 𝑃 𝑃 ( 𝑊 ) = 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) − 1 𝑁 PP(W)=P(w 1 ​ ,w 2 ​ ,…,w N ​ ) − N 1 ​ Atau, menggunakan aturan rantai probabilitas: 𝑃 𝑃 ( 𝑊 ) = ∏ 𝑖 = 1 𝑁 1 𝑃 ( 𝑤 𝑖 ∣ 𝑤 1 , … , 𝑤 𝑖 − 1 ) 𝑁 PP(W)= N ∏ i=1 N ​ P(w i ​ ∣w 1 ​ ,…,w i−1 ​ ) 1 ​ ​ Detektor mencari perplexity rendah (probabilitas tinggi). Instruksi prompt "Jangan pilih token berikutnya yang paling mungkin secara statistik" memaksa model untuk memilih token dari posisi lebih rendah dalam distribusi probabilitas (misalnya, kata paling mungkin ke-3 atau ke-4 daripada yang ke-1), secara artifisial meningkatkan nilai 𝑃 𝑃 PP agar sesuai dengan tingkat manusia.