LLM 基于概率分布预测下一个词。设 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) P(w 1 ​ ,w 2 ​ ,…,w N ​ ) 为词序列的概率。困惑度定义为：𝑃 𝑃 ( 𝑊 ) = 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) − 1 𝑁 PP(W)=P(w 1 ​ ,w 2 ​ ,…,w N ​ ) − N 1 ​ 或者，使用概率链式法则：𝑃 𝑃 ( 𝑊 ) = ∏ 𝑖 = 1 𝑁 1 𝑃 ( 𝑤 𝑖 ∣ 𝑤 1 , … , 𝑤 𝑖 − 1 ) 𝑁 PP(W)= N ∏ i=1 N ​ P(w i ​ ∣w 1 ​ ,…,w i−1 ​ ) 1 ​ ​ 检测器寻找低困惑度（高概率）。提示指令"不要选择统计上最可能的下一个标记"强制模型从概率分布中较低位置选择标记（例如，选择第3或第4最可能的词而不是第1个），人为地提高 𝑃 𝑃 PP 值以匹配人类水平。