En 1948 el ingeniero y matemático Claude E. Shannon publicó "A mathematical theory of communication" en el Bell Systems Technical Journal. En este trabajo dio a luz la Teoría de la Información, un campo completamente nuevo, introduciendo los conceptos de entropía y redundancia de la información, y los teoremas de codificación de fuente y codificación canal. La Teoría de la Información proporciona un modelo teórico para la transmisión de señales y ha sido clave en la revolución digital experimentada en las últimas décadas, ya que proporciona herramientas para lograr eficiencia (compresión de datos), fiabilidad (códigos de corrección y detección de errores) y seguridad (criptografía) particularmente adecuadas para el procesado, almacenamiento y transmisión de datos digitales.
El curso tiene dos objetivos principales: (1) introducir a los estudiantes de forma rigurosa en los puntos principales de la Teoría de la Información, incluyendo pruebas de los dos teoremas fundamentales de la compresión de datos sin errores y la codificación del canal ruidoso; (2) presentar varias aplicaciones, incluyendo la compresión, códigos de corrección de errores, inferencia estadística o criptografía.
Profesorado
Responsable
-
Adrián Francisco Tauste Campo (
)
Otros
Competencias
Competencias Técnicas
Competencias técnicas
-
CE1 - Utilizar con destreza los conceptos y métodos matemáticos que subyacen los problemas de la ciencia y la ingeniería de los datos.
-
CE3 - Analizar fenómenos complejos mediante la probabilidad y estadística, y plantear modelos de estos tipos en situaciones concretas. Formular y resolver problemas de optimización matemática.
-
CE7 - Demostrar conocimiento y capacidad de aplicación de las herramientas necesarias para el almacenaje, el procesamiento y el acceso a los datos.
-
CE8 - Capacidad de elegir y emplear técnicas de modelización estadística y análisis de datos, evaluando la calidad de los modelos, validándolos e interpretándolos.
Competencias Transversales
Transversales
-
CT5 [Avaluable] - Uso solvente de los recursos de información. Gestionar la adquisición, la estructuración, el análisis y la visualización de datos e información en el ámbito de especialidad y valorar de forma crítica los resultados de dicha gestión.
-
CT6 - Aprendizaje autónomo. Detectar deficiencias en el propio conocimiento y superarlas mediante la reflexión crítica y la elección de la mejor actuación para ampliar dicho conocimiento.
-
CT7 - Tercera lengua. Conocer una tercera lengua, preferentemente el inglés, con un nivel adecuado oral y escrito y en consonancia con las necesidades que tendrán los titulados y tituladas.
Básicas
-
CB1 - Que los estudiantes hayan demostrado poseer y comprender conocimientos en un área de estudio que parte de la base de la educación secundaria general, y se suele encontrar a un nivel que, si bien se apoya en libros de texto avanzados, incluye también algunos aspectos que implican conocimientos procedentes de la vanguardia de su campo de estudio.
-
CB2 - Que los estudiantes sepan aplicar sus conocimientos a su trabajo o vocación de una forma profesional y posean las competencias que suelen demostrarse por medio de la elaboración y defensa de argumentos y la resolución de problemas dentro de su área de estudio.
-
CB4 - Que los estudiantes puedan transmitir información, ideas, problemas y soluciones a un público tanto especializado como no especializado.
-
CB5 - Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía
Competencias Técnicas Genéricas
Genéricas
-
CG5 - Poder recurrir a conocimientos fundamentales y metodologías de trabajo sólidas adquiridos durante los estudios para adaptarse a los nuevos escenarios tecnológicos del futuro.
Objetivos
-
Alcanzar los conocimientos básicos necesarios para comprender los principios fundamentales del tratamiento, compresión, criptografía y análisis de datos basados en la teoría de Shannon.
Competencias relacionadas:
CB1,
CB2,
CB4,
CB5,
CT5,
CT6,
CT7,
CE1,
CG5,
CE8,
CE3,
CE7,
Contenidos
-
Variables aleatorias discretas y procesos
Probabilidad, conjuntos de variables aleatorias, procesos estocásticos, procesos de Markov
-
Medidas de información
Teoria de la información, entropía, entropía conjunta, desigualdad del procesado de datos, desigualdad de Fano, aplicaciones
-
Información de fuentes de datos
Códigos, propiedad de equipartición asintótica, compresión de datos, el conjunto de alta probabilidad, fuentes no independientes
-
Codificación de fuente
Propiedades de los códigos, decodificación única, longitud promedio mínima, códigos de Huffman, codigos de diccionario
-
Capcidad de canales discretos
Secuencias conjuntamente típicas, teorema de la capacidad de canal, separabilidad de la codificación de fuente y de canal
-
Códigos de canal
Introducción a los códigos correctores de errores, códigos de bloque
-
Criptografia
Teoria de Shannon para sistemas seguros, teorema principal, one-time pad, criptografía simétrica en la práctica
Actividades
Actividad
Acto evaluativo
Desarrollo del tema "Variables aleatorias discretas y procesos"
Objetivos:
1
Contenidos:
Desarrollo del tema "Medidas de información"
Objetivos:
1
Contenidos:
Desarrollo del tema "Información de fuentes de datos"
Objetivos:
1
Contenidos:
Desarrollo del tema "Codificación de fuente"
Objetivos:
1
Contenidos:
Desarrollo del tema "Capacidad de los canales discretos"
Objetivos:
1
Contenidos:
Desarrollo del tema "Códigos de canal"
Objetivos:
1
Contenidos:
Desarrollo del tema "Criptografia"
Objetivos:
1
Contenidos:
Metodología docente
Un 50% de clases teóricas en las que se estimula la participación del estudiante, seguido de un 50% de clases prácticas basadas en ejercicios o en programación de algoritmos con el objetivo de acercar la teoría de la información a las aplicaciones prácticas de la ingeniería de datos.
Método de evaluación
Se hará un prueba de control de 2 h de duración en la semana 8 y un examen final. La nota se calculará como el máximo de (nota del examen final, 0.6 * nota del examen final + 0.4 * nota de la prueba de control).
La re-evaluación se hará con un único examen en julio para estudiantes suspendidos que se hayan presentado a algún acto de evaluación. La nota de este examen será contabilizada al 100% en el cálculo de la nota final.
Bibliografía
Básica:
-
Elements of information theory -
Cover, T.M.; Thomas, J.A,
John Wiley & Sons, 2006. ISBN: 0471241954
https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003402919706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
-
Information and communication theory -
Höst, S,
Wiley IEEE Press, 2019. ISBN: 9781119433781
http://cataleg.upc.edu/record=99100491894860671~S1*cat
-
Information theory, inference, and learning algorithms -
Mackay, D.J.C,
Cambridge University Press, 2003. ISBN: 9780521642989
https://discovery.upc.edu/discovery/fulldisplay?docid=alma991002876809706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
Capacidades previas
Fundamentos de probabilidad, estadística y procesos estocásticos