Teoria de la Informació

Crèdits
6
Tipus
Obligatòria
Requisits
Aquesta assignatura no té requisits , però té capacitats prèvies
Departament
MAT;TSC;FIS
El 1948 l'enginyer i matemàtic Claude I. Shannon va publicar "A mathematical theory of communication" al Bell Systems Technical Journal. En aquest treball va nèixer la Teoria de la Informació, un camp completament nou, introduint els conceptes d'entropia i redundància de la informació, i els teoremes de codificació de font i codificació canal. La Teoria de la Informació proporciona un marc teòric per a la transmissió de senyals i ha estat clau en la revolució digital experimentada en les últimes dècades, ja que proporciona eines per aconseguir eficiència (compressió de dades), fiabilitat (codis de correcció i detecció d'errors ) i seguretat (criptografia) particularment adequades per al processat, emmagatzematge i transmissió de dades digitals.
El curs té dos objectius principals: (1) introduir els estudiants de forma rigorosa en els punts principals de la Teoria de la Informació, incloent proves dels dos teoremes fonamentals de la compressió de dades sense errors i la codificació de la cadena sorollós; (2) presentar diverses aplicacions, incloent la compressió, codis de correcció d'errors, inferència estadística o criptografia.

Professorat

Responsable

  • Adrián Francisco Tauste Campo (adria.tauste@upc.edu)

Altres

  • Josep Vidal Manzano (josep.vidal@upc.edu)

Hores setmanals

Teoria
2
Problemes
2
Laboratori
0
Aprenentatge dirigit
0
Aprenentatge autònom
6

Competències

Competències Tècniques

Competències tècniques

  • CE1 - Utilitzar amb destresa els conceptes i mètodes matemàtics subjacents els problemes de la ciència i l'enginyeria de les dades.
  • CE3 - Analitzar fenòmens complexos mitjançant la probabilitat i l'estadística, i plantejar models d'aquests tipus en situacions concretes. Formular i resoldre problemes d'optimització matemàtica.
  • CE7 - Demostrar coneixement i capacitat d'aplicació de les eines necessàries per a l'emmagatzematge, el processament i l'accés a les dades.
  • CE8 - Capacitat de triar i emprar tècniques de modelització estadística i anàlisi de dades, avaluant la qualitat dels models, validant-los i interpretant-los.

    • Competències Transversals

    Transversals

  • CT5 [Avaluable] - Ús solvent dels recursos d'informació. Gestionar l'adquisició, l'estructuració, l'anàlisi i la visualització de dades i informació en l'àmbit de l'especialitat i valorar de forma crítica els resultats d'aquesta gestió.
  • CT6 - Aprenentatge autònom. Detectar deficiències en el propi coneixement i superar-les mitjançant la reflexió crítica i l'elecció de la millor actuació per ampliar aquest coneixement.
  • CT7 - Tercera llengua. Conèixer una tercera llengua, preferentment l'anglès, amb un nivell adequat oral i escrit i d'acord amb les necessitats que tindran els titulats i titulades.

    • Bàsiques

  • CB1 - Que els estudiants hagin demostrat posseir i comprendre coneixements en una àrea d'estudi que parteix de la base de l'educació secundària general, i se sol trobar a un nivell que, si bé es recolza en llibres de text avançats, inclou també alguns aspectes que impliquen coneixements procedents de l'avantguarda del seu camp d'estudi.
  • CB2 - Que els estudiants sàpiguen aplicar els seus coneixements al seu treball o vocació d'una manera professional i posseeixin les competències que solen demostrar-se mitjançant l'elaboració i defensa d'arguments i la resolució de problemes dins la seva àrea d'estudi.
  • CB4 - Que els estudiants puguin transmetre informació, idees, problemes i solucions a un públic tant especialitzat com no especialitzat.
  • CB5 - Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia

    • Competències Tècniques Generals

    Genèriques

  • CG5 - Poder recórrer a coneixements fonamentals i metodologies de treball sòlides adquirits durant els estudis per adaptar-se als nous escenaris tecnològics del futur.

    • Objectius

    1. Assolir els coneixements basics necessaris per comprendre els principis fonamentals del tractament, compressió, criptografia i anàlisi de dades basats en la teoria de Shannon.
      Competències relacionades: CB1, CB2, CB4, CB5, CT5, CT6, CT7, CE1, CE3, CE7, CE8, CG5,

    Continguts

    1. Variables aleatòries discretes i processos
      Probabilitat, conjunts de variables aleatòries, procesos estocàstics, procesos de Markov
    2. Mesures d'informació
      Teoria de la informació, entropía, entropía conjunta i información mútua, desigualtat del processament de dades, desigualtat de Fano, aplicacions
    3. Informació de fonts de dades
      Codis, propietat d'equipartició asimptòtica, compressió de dades, el conjunt d'alta probabilitat, fonts no independents
    4. Codificació de font
      Propietats dels codis, decodificació única, llargada mitjana mínima, codis de Huffman, codis de diccionari
    5. Capacitat de canals discrets
      Seqüències conjuntament tipiques, teorema de la capacitat de canal, separabilitat de la codificació de font i de canal
    6. Codis de canal
      Introducció als codis correctors, codis de bloc
    7. Criptografia
      Teoria de Shannon per a sistemes segurs, teorema principal, one-time pad, criptografía simétrica a la pràctica
    8. Estimació de mesures d'informació
      Mètodes d'estimació d'entropia i informació mútua a partir de dades

    Activitats

    Activitat Acte avaluatiu


    Desenvolupament del tema "Variables aleatories discretes i processos"


    Objectius: 1
    Continguts:
    Teoria
    2h
    Problemes
    2h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Desenvolupament del tema "Mesures d'informació"


    Objectius: 1
    Continguts:
    Teoria
    5h
    Problemes
    5h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    8h

    Desenvolupament del tema "Informació de fonts de dades"


    Objectius: 1
    Continguts:
    Teoria
    5h
    Problemes
    5h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Desenvolupament del tema "Codificació de font"


    Objectius: 1
    Continguts:
    Teoria
    6h
    Problemes
    6h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    8h

    Desenvolupament del tema "Capacitat del canals discrets"


    Objectius: 1
    Continguts:
    Teoria
    3h
    Problemes
    4h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Desenvolupar el tema "Codis de canal"


    Objectius: 1
    Continguts:
    Teoria
    6h
    Problemes
    9h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Desenvolupament del tema "Criptografia"


    Objectius: 1
    Continguts:
    Teoria
    3h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Estimació de mesures d'informació


    Objectius: 1
    Continguts:
    Teoria
    2h
    Problemes
    2h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Metodologia docent

    Un 50% de classes teòriques en les que s'estimula la participació de l'estudiant, seguit d'un 50% de classes pràctiques basades en exercicis o en programació d'algorismes amb l'objectiu d'apropar la teoria de la informació a les aplicacions pràctiques de l'enginyeria de dades.

    Mètode d'avaluació

    Es farà un prova de control de 2 h de durada a la setmana 8 i un examen final. La nota es calcularà com el màxim de (nota de l'examen final, 0.6*nota de l'examen final + 0.4*nota de la prova de control).
    La re-avaluació es farà amb un examen al juliol pels estudiants suspesos que s'hagin presentat a algún acte d'avaluació. La nota d'aquest examen será comptabilitzada al 100% per a la nota final.

    Bibliografia

    Bàsic

    Capacitats prèvies

    Fonaments de probabilitat, estadística y processos estocàstics