IN420 Teoria dell’Informazione – A.A. 2024/25

La pagina web inerente la precedente erogazione dell’insegnamento da parte del docente è reperibile qui.


Avvisi

Orari ed aule

  • Mar 11-13 aula L

  • Mer 14-16 aula L (esercitazione)

  • Gio 11-13 aula L

Libro di testo

Il libro di testo adottato è

Alcune precisazioni al testo.

Altri riferimenti bibliografici utili sono:

Per ulteriori riferimenti bibliografici si rimanda alla scheda GOMP dell’insegnamento.

Legenda: = scaricabile, = disponibile in biblioteca.

Diario delle lezioni

I riferimenti [F] indicano le sezioni del libro di testo.

Data Argomenti Riferimenti al testo Allegati

25 Febbraio

Presentazione del corso. Simboli, alfabeti, parole. Divergenza informazionale tra due distribuzioni. Disuguaglianza di Gibbs.

[F 1.1, 1.1.1, 1.1.2, 1.1.3, 1.1.4, 1.1.5, 2.1]

Diapositive

27 Febbraio

Dimostrazione delle disuguaglianza di Gibbs. Definizione di mutua informazione ed entropia.

[F 2.1, 2.2]

4 Marzo

Entropia congiunta ed entropia condizionata. Regola della catena. Diagrammi informazionali.

[F 2.2]

5 Marzo

Esercizi. Esempi di calcolo dell’entropia. Entropia di funzioni di v.a. Dall’entropia alla divergenza informazionale.

Lavagne esercizi (2021)

6 Marzo

Mutua informazione condizionata, entropia condizionata in più variabili, entropia di sequenze di v.a. Mutua informazione di v.a. vettoriali, disuguaglianza di Fano.

[F 2.3]

11 Marzo

Teoremi di elaborazione dati. Sorgenti. Stazionarietà, assenza di memoria.

[F 2.5, 3.1]

12 Marzo

Esercizi. Minimi dell’entropia. Calcolo della mutua informazione condizionata. Analisi del one-time pad binario.

13 Marzo

Legge dei grandi numeri. Disuguaglianza e teorema di Chebyshev. Principio di equipartizionamento asintotico.

[F 3.2, 3.3]

18 Marzo

Sequenze tipiche in probabilità. Introduzione ai codici di sorgente.

[F 3.3, 3.3.1, 3.4]

19 Marzo

Esercizi. Mutua informazione di 3 v.a. ed applicazioni. Teorema della segretezza perfetta di Shannon.

20 Marzo

Codici di sorgente. Funzioni di codifica, tipi di codici. Alberi di codice.

[F 3.4, 3.4.1, 3.4.2, 3.4.3]

25 Marzo

Disuguaglianza di McMillan-Kraft. Tasso di un codice.

[F 3.4.3, 3.4.4]

26 Marzo

Esercizi. Statistiche sufficienti. Principio di massima verosimiglianza.

27 Marzo

Teoremi di Shannon per codifiche blocco-lunghezza variabile. Codice di Shannon-Fano. Codici blocco-blocco.

[F 3.4.6, 3.4.7]

1 Aprile

Teorema della codifica di sorgente per codici blocco-blocco. Codice di Fano.

[F 3.5, 5.1]

2 Aprile

Esercizi. Esempi di codifica di sorgente. Algoritmo di Sardinas-Patterson.

3 Aprile

Proprietà dei codici ottimi. Codice di Huffman.

[F 5.2]