Um LLM prevê a próxima palavra com base na distribuição de probabilidade. Seja 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) P(w 1 ​ ,w 2 ​ ,…,w N ​ ) a probabilidade de uma sequência de palavras. A perplexidade é definida como: 𝑃 𝑃 ( 𝑊 ) = 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) − 1 𝑁 PP(W)=P(w 1 ​ ,w 2 ​ ,…,w N ​ ) − N 1 ​ Ou, usando a regra da cadeia de probabilidade: 𝑃 𝑃 ( 𝑊 ) = ∏ 𝑖 = 1 𝑁 1 𝑃 ( 𝑤 𝑖 ∣ 𝑤 1 , … , 𝑤 𝑖 − 1 ) 𝑁 PP(W)= N ∏ i=1 N ​ P(w i ​ ∣w 1 ​ ,…,w i−1 ​ ) 1 ​ ​ Os detectores procuram por baixa perplexidade (alta probabilidade). A instrução do prompt "Não escolha o próximo token estatisticamente mais provável" força o modelo a selecionar tokens de posições mais baixas na distribuição de probabilidade (por exemplo, a 3ª ou 4ª palavra mais provável em vez da 1ª), inflando artificialmente o valor de 𝑃 𝑃 PP para corresponder aos níveis humanos.