Perplessità

In teoria dell'informazione, la perplessità è una misura dell'incertezza riguardo il valore di un campione tratto da una distribuzione di probabilità discreta.

È una misura di predicibilità legata all'entropia: maggiore la perplessità, meno probabile che un osservatore riesca a predire un valore estratto dalla distribuzione.

Il termine è stata proposto originariamente nel 1977 in un lavoro di F. Jelinek et al. sul riconoscimento vocale.

Essa è molto usata nell'apprendimento automatico e nella modellizzazione statistica.

Definizioni

La perplessità $PP$ di una distribuzione discreta $p$ è definita come segue:

$\displaystyle {\rm {PP}}(p)\triangleq 2^{\mathbb {H} (p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\prod _{x}p(x)^{-p(x)}$

dove $\mathbb {H} (p)$ è l'entropia (in bit) della distribuzione e $x$ varia su tutti gli eventi, i valori che una variabile aleatoria $X$ con distribuzione $p$ può assumere.

Si noti che la base del logaritmo non è necessariamente $2$, essendone la perplessità indipendente a patto che entropia ed esponenziale usino una stessa base.

Dato un insieme di dati ${\cal {D}}$, con la relativa distribuzione empirica $p_{\cal {D}}$, si possono misurare le qualità predittive di $p$ su ${\cal {D}}$ mediante la seguente definizione della perplessità:

$\displaystyle {\rm {PP}}(p_{\mathcal {D}},p)\triangleq 2^{\mathbb {H} _{ce}(p)}$

dove $\mathbb {H} _{ce}$ denota l'entropia incrociata delle due distribuzioni.

Riferimenti

• Jelinek, F.; Mercer, R. L.; Bahl, L. R.; Baker, J. K. (1977). "Perplexity—a measure of the difficulty of speech recognition tasks". The Journal of the Acoustical Society of America. 62 (S1): S63. bibcode:1977ASAJ...62Q..63J. doi:10.1121/1.2016299. ISSN 0001-4966.