Procesado del Lenguaje Oral y Escrito

• Profesorado
• Horas semanales
• Competencias
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Capacidades previas

Profesorado

Responsable

• Jose Adrian Rodriguez Fonollosa ( )

Otros

• Carlos Escolano Peinado ( )

Horas semanales

Competencias

Competencias Técnicas

Competencias técnicas

• CE5 - Diseñar y aplicar técnicas de procesado de señal, eligiendo entre distintas herramientas tecnológicas, incluidas las de visión Artificial, de reconocimiento del lenguaje hablado y las de tratamiento de datos multimedia.
• CE6 - Construir o utilizar sistemas de procesado y comprensión del lenguaje escrito, integrándolo en otros sistemas dirigidos por los datos. Diseñar sistemas de búsqueda de información textual o hipertextual y de análisis de redes sociales.

Competencias Transversales

Transversales

• CT5 [Avaluable] - Uso solvente de los recursos de información. Gestionar la adquisición, la estructuración, el análisis y la visualización de datos e información en el ámbito de especialidad y valorar de forma crítica los resultados de dicha gestión.
• CT6 - Aprendizaje autónomo. Detectar deficiencias en el propio conocimiento y superarlas mediante la reflexión crítica y la elección de la mejor actuación para ampliar dicho conocimiento.
• CT7 [Avaluable] - Tercera lengua. Conocer una tercera lengua, preferentemente el inglés, con un nivel adecuado oral y escrito y en consonancia con las necesidades que tendrán los titulados y tituladas.

Básicas

• CB4 - Que los estudiantes puedan transmitir información, ideas, problemas y soluciones a un público tanto especializado como no especializado.
• CB5 - Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía

Competencias Técnicas Genéricas

Genéricas

• CG1 - Concebir sistemas computacionales que integren datos de procedencias y formas muy diversas, creen con ellos modelos matemáticos, razonen sobre dichos modelos y actúen en consecuencia, aprendiendo de la experiencia.
• CG2 - Elegir y aplicar los métodos y técnicas más adecuados a un problema definido por datos que representen un reto por su volumen, velocidad, variedad o heterogeneidad, incluidos métodos informáticos, matemáticos, estadísticos y de procesado de la señal.
• CG4 - Identificar oportunidades para aplicaciones innovadoras orientadas a datos en entornos tecnológicos en continua evolución.
• CG5 - Poder recurrir a conocimientos fundamentales y metodologías de trabajo sólidas adquiridos durante los estudios para adaptarse a los nuevos escenarios tecnológicos del futuro.

Objetivos

1. Conocer las tecnologías más importantes de aprendizaje profundo de interés en el procesado del lenguaje oral y escrito.
   Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
2. El alumno debe conocer las aplicaciones más importantes de la tecnología del habla y del lenguaje.
   Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
3. El alumno ha de ser capaz de seleccionar la tecnología del habla y del lenguaje más adecuada para una determinada tarea o aplicación.
   Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
4. Desarrollar aplicaciones que utilicen la tecnología del habla de froma adecuada e innovadora.
   Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
5. The student should be able to identify the fundamental parameters of the voice in the temporal and frequency domain
   Competencias relacionadas: CE5, CT5, CT6, CT7, CG1, CB4, CB5,
6. El alumno debe conocer las herramientas matemáticas de modelado y aprendizaje automático más útiles en el análisis de la voz como la cuantificación vectorial, los modelos de mezclas de Gaussianas y los modelos ocultos de Markov.
   Competencias relacionadas: CE5, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
7. El alumno debe conocer las técnicas de modelado estadístico del lenguaje.
   Competencias relacionadas: CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,

Contenidos

1. Introducción a la tecnologías del habla y del lenguaje y sus aplicaciones
   Aplicaciones del procesado del lenguaje oral y escrito. Impacto social.
   Bloques principales de un sistema de procesado del habla: reconocimiento del habla, procesado del lenguaje natural, conversión de texto a voz.
   El lenguaje como secuencia de palabras. Representación vectorial de palabras. Codificación one-hot. Representaciones vectoriales en un espacio continuo.
   Word2vec: Continuous bag-of-words versus Continuous skip-gram. Vectores GloVe. Estructuras y analogías en las representaciones vectoriales de palabras.
2. Modelado del lenguaje
   Modelado estadístico basado en N-gramas.
   Modelado con redes neuronales. Redes recurrentes. Redes convolucionales. Sistemas de atención: el Transformer.
3. Representaciones contextuales del lenguaje
   Pattern matching. Dynamic time warping.
   Modelos ocultos de Markov: reconocimiento de palabras aisladas
   Reconocimiento de habla continua: modelado acústico, modelado de lenguaje, búsqueda.
4. Traducción Automática Neuronal
   Introducción a la traducción automática. Evaluación automatiza de la calidad: BLEU
   Traducción Automática con redes neuronales.
5. Fundamentos del reconocimiento automático de la voz
   Pattern matching. Dynamic time warping.
   Modelos ocultos de Markov: reconocimiento de palabras aisladas
   Reconocimiento de habla continua: modelado acústico, modelado de lenguaje, búsqueda.
6. Síntesis de voz
   Procesador lingüístico.
   Modelado de la prosodia.
   Generación de formas de onda.
   Métodos de concatenación.

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Spoken language processing: a guide to theory, algorithm and system development - Huang, X.; Acero, A.; Hon, H.-W, Prentice Hall, 2001. ISBN: 0130226165
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991002590969706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep learning - Goodfellow, I.; Bengio, Y.; Courville, A, The MIT Press, 2016. ISBN: 9780262035613
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004107709706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep learning for NLP and speech recognition - Kamath, U.; Liu, J.; Whitaker, J, Springer, 2019. ISBN: 9783030145958
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004193579706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Text-to-speech synthesis - Taylor, P, Cambridge University Press , 2009. ISBN: 9780521899277
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003624489706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Capacidades previas