
يتنبأ نموذج اللغة الكبير بالكلمة التالية بناءً على توزيع الاحتمالات. لتكن 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) P(w 1 ,w 2 ,…,w N ) احتمالية تسلسل الكلمات. يتم تعريف الحيرة على النحو التالي: 𝑃 𝑃 ( 𝑊 ) = 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) − 1 𝑁 PP(W)=P(w 1 ,w 2 ,…,w N ) − N 1 أو، باستخدام قاعدة السلسلة للاحتمالات: 𝑃 𝑃 ( 𝑊 ) = ∏ 𝑖 = 1 𝑁 1 𝑃 ( 𝑤 𝑖 ∣ 𝑤 1 , … , 𝑤 𝑖 − 1 ) 𝑁 PP(W)= N ∏ i=1 N P(w i ∣w 1 ,…,w i−1 ) 1 تبحث أدوات الكشف عن حيرة منخفضة (احتمالية عالية). تجبر تعليمات الموجه "لا تختر الرمز التالي الأكثر احتمالاً إحصائياً" النموذج على اختيار رموز من مواضع أدنى في توزيع الاحتمالات (على سبيل المثال، الكلمة الثالثة أو الرابعة الأكثر احتمالاً بدلاً من الأولى)، مما يؤدي إلى تضخيم قيمة 𝑃 𝑃 PP بشكل مصطنع لتتطابق مع المستويات البشرية.