Teoria dell`informazione e codici

TEORIA DELL'INFORMAZIONE
¾ Problema fondamentale della comunicazione:
Facoltà di Ingegneria
Riprodurre in un punto, in modo esatto o approssimato, un messaggio selezionato
Appunti dalle lezioni del corso di
in un altro punto
¾ Obiettivo
Teoria dell’informazione e codici
Provare, per mezzo della teoria dei processi ergodici, teoremi fondamentali sulla
codificazione dell'informazione trasmessa (in cui l'entropia gioca un ruolo
Prof. Alessandro NERI
essenziale)
¾ La misura dell'informazione è
Anno accademico 2008-2009
1. Un'indicazione della libertà di scelta che una sorgente è in grado di esercitare
nel selezionare un messaggio
2. Un'indicazione del grado di incertezza di un osservatore nei riguardi del
messaggio che sarà emesso
1
Codifica a blocchi
2
Codifica a blocchi
¾ A(k) : l'alfabeto estensione di ordine k di A
S0
xk
A(k) =(b1, b2, …, bj, …bLk)
Codificatore a
blocchi
(k;M)
i cui elementi sono le Lk differenti sequenze di k caratteri ciascuno appartenente ad
A, cioè
‰ Data
una sorgente discreta S0, siano:
bj =(aj1, aj2, …, ajn , … ajk)
¾ x[n]: una realizzazione costituita da una successione indefinita di caratteri
appartenenti all'alfabeto di sorgente A ad L determinazioni
‰ Si
applichi ad x[n] una codificazione a blocchi (k; M) a lunghezza di parola non
necessariamente costante tale che a ciascun carattere bj di A(k) faccia corrispondere
A=(a1, a2, …, aj, …aL)
una stringa di nj caratteri del nuovo alfabeto ad M simboli
¾ xk: sequenza di k caratteri successivi
C =(c1, c2, …, cj, …cM)
3
4
Codifica a blocchi
carattere
a1
a2
a3
a4
PA(a)
1/2
1/4
1/8
1/8
ENTROPIA
Codice I
1
00
01
10
) Obiettivo
Codice II Codice III
0
0
10
01
110
011
111
111
cercare di assegnare le parole di codice di lunghezza più brevi alle
sequenze di caratteri d'ingresso più frequenti
 esempio:
codice MORSE
Codici:
) Definizione
univocamente decodificabili
Trasformazione invertibile
istantaneamente decodificabili
l'inversione può essere effettuata in tempo reale
senza dover attendere gli altri caratteri della
‰ Indicata
con PB(bj) la probabilità associata al carattere bj, il valore atteso
del numero di caratteri di C che corrispondono a xk vale:
sequenza.
 Regola
del prefisso: Un codice risulta univocamente istantaneamente
E B {n} =
decodificabile se non esiste nessuna parola di codice che coincida interamente
Lk
∑ n j PB (b j )
j =1
con l'inizio di parole di codice di lunghezza maggiore.
5
ENTROPIA
6
ENTROPIA (cont.)
Ciò posto, si definisce Entropia H della sorgente la quantità
‰ Teorema
H = lim
⎡ E {n}⎤
H = Inf ⎢ B ⎥
k ⎣ k
⎦
1
k →∞ k
al variare in tutti i modi possibili del sistema di codificazione a blocchi,
 Dal
⎧
1 ⎫
E B ⎨ log M
⎬
P
(b) ⎭
⎩
B
(1)
teorema discende che una serie di approssimazioni per H può essere
ottenuta a partire dalla conoscenza delle proprietà statistiche di sequenze
purché biunivocamente decodificabile.
di 1, 2, …, k simboli
 La
base del logaritmo che compare nella (1) determina l'unità di misura
per l'entropia.
7
 Per
M=2 l'entropia si misura in [bit/simbolo]
 Per
M=e l'entropia si misura in [nat/simbolo]
8
Sorgente ergodica senza memoria
Sorgente ergodica senza memoria
¾quindi una sorgente senza memoria presenta una entropia pari a:
Poiché per tale sorgente:
PB(bj)=PA(aj1, aj2, …, ajn , … ajk)=
k
⎧
1 ⎫
H = E A ⎨ log 2
⎬
PA ( a ) ⎭
⎩
= ∏ PA ( a j )
l
l =1
si ha:
⎧
⎫
⎪
⎧ k
1
1
1
1 ⎫
⎪
⎪⎪
H = lim
E A ( k ) ⎨log 2 k
E A ( k ) ⎨ ∑ log 2
= lim
⎬
⎬=
k →∞ k
k →∞ k
PAj ( a j ) ⎭
j =1
⎩
⎪
⎪
(
)
P
a
A
j
∏
j
⎪⎩
⎪⎭
i =1
1 ⎫
⎧
k E A ⎨ log 2
⎬
PA ( a ) ⎭
k →∞ k
⎩
= lim
1
9
10
Sorgente ergodica senza memoria
Sorgente ergodica senza memoria
¾Sorgente binaria
posto
¾Teorema: L'entropia di una sorgente senza memoria soddisfa la
PA(a1)=P;
diseguaglianza:
PA(a2)=1-P
per l'entropia di tale sorgente si ha:
H = P log2
H ≤ log 2 L
1
1
+ (1 − P ) log2
P
1− P
con uguaglianza quando i simboli sono equiprobabili.
Dim.: poiché
log 2 y ≤
11
1
( y − 1)
ln 2
12
Sorgente ergodica senza memoria
si ha:
H − log 2 L =
⎡
⎤
1
1 L
1
≤
∑ PA (an ) ⎢ LP (a ) − 1⎥ .
a
(
)
ln
2
n =1
⎣ A n
⎦
A n
L
∑ PA (an ) log2 LP
n =1
D’altro canto,
L
⎡
n =1
⎣
L
⎤ 1 L
1
− 1⎥ = ∑ 1 − ∑ PA ( a n ) = 1 − 1 = 0 ,
( a ) ⎦ L n =1 n =1
A n
∑ PA (a n ) ⎢ LP
pertanto si ha:
H − log 2 L ≤ 0
c.d.d.
13