Teoria dell'Informazione – A.A. 2019/20
Avvisi
Didattica on-line: Si invitano tutti gli studenti ad accedere alla pagina Moodle del corso e a seguire le istruzioni contenute nella sezione Avvisi di Moodle per potersi registrare alla didattica on-line (Microsoft Teams).
Pagina Microsoft Stream del corso
In accordo con le direttive governative e di Ateneo, la didattica frontale in presenza è attualmente sospesa.
Nello stesso periodo, il ricevimento (telematico) può essere concordato via email.
Orari ed aule
Quando: Martedì 14.00-16.00, Mercoledì 9.00-11.00 e Giovedì 9.00-11.00
Dove: Lab (Martedì), aula M6 (Mercoledì e Giovedì)
Ricevimento studenti
Durante le settimane di lezione: Mercoledì, 11.00-12.00, Largo San Leonardo Murialdo, Pal. C - Stanza 201
Al di fuori dei periodi di lezione è necessario prenotare il ricevimento per email.
Libro di testo
Il libro di testo adottato è
Alcune precisazioni al testo.
Per le altre informazioni ufficiali sul corso (programma, modalità d'esame) si rimanda al GOMP.
Diario delle lezioni
I riferimenti [F] indicano le sezioni del libro di testo.
26 Febbraio: Presentazione del corso. Simboli, alfabeti, parole. Divergenza informazionale tra due distribuzioni. Disuguaglianze di Gibbs e di Jensen.
[F 1.1, 1.1.1, 1.1.2, 1.1.3, 1.1.4, 1.1.5, 2.1]
27 Febbraio: Dimostrazione delle disuguaglianze di Jensen e di Gibbs. Disuguaglianza della somma logaritmica. Definizione di mutua informazione ed entropia.
[F 2.1, 2.2]
4 Marzo: Alcune interpretazioni dell'entropia. Entropia congiunta ed entropia condizionata.
[F 2.3]
12 Marzo (online): Esempi sull'entropia, entropia di funzioni, confronto tra entropia e varianza, calcolo della mutua informazione. Lavagna
[F 2.3]
17 Marzo (online): Esercizi. Regola della catena, diagrammi informazionali. Lavagna
18 Marzo (online): Mutua informazione condizionata, entropia condizionata su più variabili, entropia e mutua informazione di v.a. vettoriali, disuguaglianza di Fano. Lavagna
[F 2.3]
19 Marzo (online): Teoremi di elaborazione dati, sorgenti di informazione, stazionarietà, assenza di memoria. Lavagna
[F 2.5, 3.1]
24 Marzo (online): Esercizi. Mutua informazione di 3 v.a. ed applicazioni. Teorema della segretezza perfetta di Shannon. Lavagna
25 Marzo (online): Legge dei grandi numeri. Disuguaglianza e teorema di Chebyshev. Sequenze tipiche in probabilità. Lavagna
[F 3.2, 3.3, 3.3.1]
26 Marzo (online): Principio di equipartizionamento asintotico. Funzioni di codifica, tipi di codici. Lavagna
[F 3.4, 3.4.1, 3.4.2]
31 Marzo (online): Esercizi. Statistiche sufficienti, massima verosimiglianza. Esempi di codifica di sorgente. Lavagna
1 Aprile (online): Alberi di codice. Disuguaglianza di McMillan-Kraft. Lavagna
[F 3.4.3, 3.4.4]
2 Aprile (online): Tasso di un codice. Teoremi di Shannon per codifiche blocco-lunghezza variabile. Codice di Shannon-Fano. Lavagna
[F 3.4.6, 3.4.7]
7 Aprile (online): Esercizi. Codifica di sorgente. Algoritmo Sardinas-Patterson. Lavagna
8 Aprile (online): Teorema della codifica di sorgente per codici blocco-blocco. Lavagna
[F 3.5]
9 Aprile (online): Codice di Fano. Proprietà dei codici ottimi. Codice di Huffman. Lavagna
[F 5.1, 5.2]
15 Aprile (online): Codici universali. Codice multinomiale. Lavagna
[F 5.6, 5.6.1]
16 Aprile (online): Codice di Ziv-Lempel (LZ77). Lavagna
[F 5.6.2]
21 Aprile (online): Esercizi. Esempi su Fano, Huffman, Ziv-Lempel. Lavagna
22 Aprile (online): Introduzione alla codifica di canale. Canali e capacità. Lavagna
[F 4.1, 4.2, 4.2.1]
23 Aprile (online): Canali senza perdite, deterministici, inutili, simmetrici, con cancellazione. Lavagna
[F 4.2.2, 4.2.3, 4.2.4, 4.2.5, 4.2.6]
28 Aprile (online): Esercizi. Calcolo della capacità di canale. Lavagna
29 Aprile (online): Criteri di decodifica. Teorema inverso di codifica di canale. Lavagna
[F 4.3, 4.3.1, 4.3.2, 4.4]
30 Aprile (online): Dimostrazione del teorema inverso di codifica di canale. Lavagna
[F 4.4.1]
5 Maggio (online): Esercizi. Sfere di Hamming. Concatenazione di canali. Lavagna
6 Maggio (online). Teorema diretto di codifica di canale. Lavagna
[F 4.4.2]
7 Maggio (online): Codici correttori d'errore. Richiami sulle strutture algebriche. Spazio di Hamming. Lavagna
[F 6.1, 6.2, 6.2.1, 6.2.2]
12 Maggio (online): Esercizi. Introduzione a Python. Calcolo dell'entropia in Python. (entropia.py)
13 Maggio (online): Decodifica a distanza minima. Capacità di correzione. Lavagna
[F 6.2.2]
14 Maggio (online): Codici lineari. Codifica e matrice generatrice. Lavagna
[F 6.3.1]
19 Maggio (online): Esercizi. Proprietà dei codici lineari. Lavagna
20 Maggio (online): Matrice di controllo. Codici di Hamming. Lavagna
[F 6.3.2, 6.3.3, esclusi i codici di Hamming estesi]
21 Maggio (online): Decodifica con sindrome. Codici perfetti. Lavagna
[F 6.3.2]
26 Maggio (online): Esercizi. Decodifica dei codici di Hamming. Lavagna
27 Maggio (online): Codici ciclici. Lavagna
[F 6.4]
28 Maggio (online): Funzioni hash. Lavagna
