IN420 Teoria dell’Informazione – A.A. 2024/25
La pagina web inerente la precedente erogazione dell’insegnamento da parte del docente è reperibile qui.
Avvisi
Orari ed aule
-
Mar 11-13 aula L
-
Mer 14-16 aula L (esercitazione)
-
Gio 11-13 aula L
Libro di testo
Il libro di testo adottato è
-
[F] F. Fabris. Teoria dell’informazione, codici, cifrari. Bollati Boringhieri, 2001. Una copia del testo è reperibile nella biblioteca di area scientifica, sede Torri.
Alcune precisazioni al testo.
Altri riferimenti bibliografici utili sono:
-
[CT] T.M. Cover, J.A. Thomas. Elements of Information Theory. Wiley, 1991. Una copia del testo è reperibile nella biblioteca di area scientifica, sede Torri. Una riedizione del 2006 è reperibile anche in formato elettronico attraverso Roma Tre Discovery.
-
[GRS] V. Guruswamy, A. Rudra, M. Sudan. Essential Coding Theory. Bozza disponibile online, 2022.
Per ulteriori riferimenti bibliografici si rimanda alla scheda GOMP dell’insegnamento.
Legenda: = scaricabile, = disponibile in biblioteca.
Diario delle lezioni
I riferimenti [F] indicano le sezioni del libro di testo.
| Data | Argomenti | Riferimenti al testo | Allegati |
|---|---|---|---|
25 Febbraio |
Presentazione del corso. Simboli, alfabeti, parole. Divergenza informazionale tra due distribuzioni. Disuguaglianza di Gibbs. |
[F 1.1, 1.1.1, 1.1.2, 1.1.3, 1.1.4, 1.1.5, 2.1] |
|
27 Febbraio |
Dimostrazione delle disuguaglianza di Gibbs. Definizione di mutua informazione ed entropia. |
[F 2.1, 2.2] |
|
4 Marzo |
Entropia congiunta ed entropia condizionata. Regola della catena. Diagrammi informazionali. |
[F 2.2] |
|
5 Marzo |
Esercizi. Esempi di calcolo dell’entropia. Entropia di funzioni di v.a. Dall’entropia alla divergenza informazionale. |
||
6 Marzo |
Mutua informazione condizionata, entropia condizionata in più variabili, entropia di sequenze di v.a. Mutua informazione di v.a. vettoriali, disuguaglianza di Fano. |
[F 2.3] |
|
11 Marzo |
Teoremi di elaborazione dati. Sorgenti. Stazionarietà, assenza di memoria. |
[F 2.5, 3.1] |
|
12 Marzo |
Esercizi. Minimi dell’entropia. Calcolo della mutua informazione condizionata. Analisi del one-time pad binario. |
||
13 Marzo |
Legge dei grandi numeri. Disuguaglianza e teorema di Chebyshev. Principio di equipartizionamento asintotico. |
[F 3.2, 3.3] |
|
18 Marzo |
Sequenze tipiche in probabilità. Introduzione ai codici di sorgente. |
[F 3.3, 3.3.1, 3.4] |
|
19 Marzo |
Esercizi. Mutua informazione di 3 v.a. ed applicazioni. Teorema della segretezza perfetta di Shannon. |
||
20 Marzo |
Codici di sorgente. Funzioni di codifica, tipi di codici. Alberi di codice. |
[F 3.4, 3.4.1, 3.4.2, 3.4.3] |
|
25 Marzo |
Disuguaglianza di McMillan-Kraft. Tasso di un codice. |
[F 3.4.3, 3.4.4] |
|
26 Marzo |
Esercizi. Statistiche sufficienti. Principio di massima verosimiglianza. |
||
27 Marzo |
Teoremi di Shannon per codifiche blocco-lunghezza variabile. Codice di Shannon-Fano. Codici blocco-blocco. |
[F 3.4.6, 3.4.7] |
|
1 Aprile |
Teorema della codifica di sorgente per codici blocco-blocco. Codice di Fano. |
[F 3.5, 5.1] |
|
2 Aprile |
Esercizi. Esempi di codifica di sorgente. Algoritmo di Sardinas-Patterson. |
||
3 Aprile |
Proprietà dei codici ottimi. Codice di Huffman. |
[F 5.2] |
|
8 Aprile |
Codici universali. Codice multinomiale. Codice di Ziv-Lempel (LZ77). |
[F 5.2, 5.6, 5.6.1, 5.6.2] |
|
9 Aprile |
Esercizi. Esempi di codifiche Fano, Huffman, Ziv-Lempel. Cenni al codice LZ78. |
||
10 Aprile |
Esempi di codifica LZ77. Introduzione alla codifica di canale. |
[F 5.6.2, 4.1] |