Théorie de l'information

Le cours de théorie de l'information pour les étudiants de mastère de recherche "Web Intelligence" traite les aspects théoriques et pratiques de la compression de données dans un premier lieu, et la détection/correction des erreurs dans un deuxième lieu.

Travaux dirigés (pdf) Corrigé (pdf)

- Chapitre 1 : codage source (pdf)

Descriptifs: Mesure de l'information, incertitude, entropie, Shannon (bit), Codes à longueur fixe, extension de source, Efficacité du code, codes à longueur variable, codes préfixes, Code de Huffman, code de Fano-Shannon, Code RLE, tendances de la recherche scientifique dans la compression et la crypto-compression

- Chapitre 2 : codage canal, codes de bloc linéaires (pdf)

Descriptifs: Eléments de la chaîne de transmission numérique, codage canal, Information mutuelle, canal binaire symétrique, Distance de Hamming, Poids d'un code, distance minimale, pouvoir de détection, pouvoir de correction, codes de bloc linéaire, algorithme de codage, notion de syndrome, algorithme de décodage, détection et localisation d'erreurs, code de Hamming, code de Hadamard

- Chapitre 3: Codes cycliques (pdf)

Descriptifs: Propriétés, Notation polynomiale, calcul polynomial, polynome générateur, Algorithme de codage, décodage par syndrome, polynome de controle, choix de g(x) et h(x), génération de la matrice génératrice à partir du polynome g(x), codes usuels: code de Golay, codes BCH, codes Reed-solomon.

- Chapitre 4: Codes de Convolution (pdf)

Descriptifs: Propriétés, longueur de contrainte, méthode temporelle, méthode polynomiale, répresentation graphique, graphes, arbre de code, Treillis de code, digramme d'état, Maximum de vraisemblance, Décodage par Viterbi.