LLM przewiduje następne słowo na podstawie rozkładu prawdopodobieństwa. Niech 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) P(w 1 ​ ,w 2 ​ ,…,w N ​ ) będzie prawdopodobieństwem sekwencji słów. Perpleksja jest zdefiniowana jako: 𝑃 𝑃 ( 𝑊 ) = 𝑃 ( 𝑤 1 , 𝑤 2 , … , 𝑤 𝑁 ) − 1 𝑁 PP(W)=P(w 1 ​ ,w 2 ​ ,…,w N ​ ) − N 1 ​ Lub, używając reguły łańcuchowej prawdopodobieństwa: 𝑃 𝑃 ( 𝑊 ) = ∏ 𝑖 = 1 𝑁 1 𝑃 ( 𝑤 𝑖 ∣ 𝑤 1 , … , 𝑤 𝑖 − 1 ) 𝑁 PP(W)= N ∏ i=1 N ​ P(w i ​ ∣w 1 ​ ,…,w i−1 ​ ) 1 ​ ​ Detektory szukają niskiej perpleksji (wysokiego prawdopodobieństwa). Instrukcja promptu "Nie wybieraj statystycznie najbardziej prawdopodobnego następnego tokenu" zmusza model do wybierania tokenów z niższych pozycji w rozkładzie prawdopodobieństwa (np. 3. lub 4. najbardziej prawdopodobne słowo zamiast 1.), sztucznie zawyżając wartość 𝑃 𝑃 PP, aby dopasować się do poziomu ludzkiego.