Procesado del Lenguaje Oral y Escrito

Créditos
6
Tipos
Obligatoria
Requisitos
Esta asignatura no tiene requisitos , pero tiene capacidades previas
Departamento
TSC;CS
En este curso se estudian las denominadas tecnologías del habla, una parte fundamental de la inteligencia artificial que tiene como objetivo el desarrollo de sistemas para analizar, entender, traducir, y generar lenguaje humano oral o escrito. Se pone especial atención en la nuevas tecnologías basadas en el aprendizaje profundo y sus aplicaciones. Las prácticas proporcionan a los estudiantes la oportunidad de afianzar y profundizar sobre algunos temas, y también tienen como objetivo ayudar a potenciar sus propias habilidades de desarrollo de aplicaciones o investigación.

Profesorado

Responsable

  • Jose Adrian Rodriguez Fonollosa (jose.fonollosa@upc.edu)

Otros

  • Carlos Escolano Peinado (carlos.escolano@upc.edu)

Horas semanales

Teoría
3
Problemas
0
Laboratorio
1
Aprendizaje dirigido
0
Aprendizaje autónomo
6

Competencias

Competencias Técnicas

Competencias técnicas

  • CE5 - Diseñar y aplicar técnicas de procesado de señal, eligiendo entre distintas herramientas tecnológicas, incluidas las de visión Artificial, de reconocimiento del lenguaje hablado y las de tratamiento de datos multimedia.
  • CE6 - Construir o utilizar sistemas de procesado y comprensión del lenguaje escrito, integrándolo en otros sistemas dirigidos por los datos. Diseñar sistemas de búsqueda de información textual o hipertextual y de análisis de redes sociales.

    • Competencias Transversales

    Transversales

  • CT5 [Avaluable] - Uso solvente de los recursos de información. Gestionar la adquisición, la estructuración, el análisis y la visualización de datos e información en el ámbito de especialidad y valorar de forma crítica los resultados de dicha gestión.
  • CT6 - Aprendizaje autónomo. Detectar deficiencias en el propio conocimiento y superarlas mediante la reflexión crítica y la elección de la mejor actuación para ampliar dicho conocimiento.
  • CT7 [Avaluable] - Tercera lengua. Conocer una tercera lengua, preferentemente el inglés, con un nivel adecuado oral y escrito y en consonancia con las necesidades que tendrán los titulados y tituladas.

    • Básicas

  • CB4 - Que los estudiantes puedan transmitir información, ideas, problemas y soluciones a un público tanto especializado como no especializado.
  • CB5 - Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía

    • Competencias Técnicas Genéricas

    Genéricas

  • CG1 - Concebir sistemas computacionales que integren datos de procedencias y formas muy diversas, creen con ellos modelos matemáticos, razonen sobre dichos modelos y actúen en consecuencia, aprendiendo de la experiencia.
  • CG2 - Elegir y aplicar los métodos y técnicas más adecuados a un problema definido por datos que representen un reto por su volumen, velocidad, variedad o heterogeneidad, incluidos métodos informáticos, matemáticos, estadísticos y de procesado de la señal.
  • CG4 - Identificar oportunidades para aplicaciones innovadoras orientadas a datos en entornos tecnológicos en continua evolución.
  • CG5 - Poder recurrir a conocimientos fundamentales y metodologías de trabajo sólidas adquiridos durante los estudios para adaptarse a los nuevos escenarios tecnológicos del futuro.

    • Objetivos

    1. Conocer las tecnologías más importantes de aprendizaje profundo de interés en el procesado del lenguaje oral y escrito.
      Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    2. El alumno debe conocer las aplicaciones más importantes de la tecnología del habla y del lenguaje.
      Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    3. El alumno ha de ser capaz de seleccionar la tecnología del habla y del lenguaje más adecuada para una determinada tarea o aplicación.
      Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    4. Desarrollar aplicaciones que utilicen la tecnología del habla de froma adecuada e innovadora.
      Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    5. The student should be able to identify the fundamental parameters of the voice in the temporal and frequency domain
      Competencias relacionadas: CE5, CT5, CT6, CT7, CG1, CB4, CB5,
    6. El alumno debe conocer las herramientas matemáticas de modelado y aprendizaje automático más útiles en el análisis de la voz como la cuantificación vectorial, los modelos de mezclas de Gaussianas y los modelos ocultos de Markov.
      Competencias relacionadas: CE5, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    7. El alumno debe conocer las técnicas de modelado estadístico del lenguaje.
      Competencias relacionadas: CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,

    Contenidos

    1. Introducción a la tecnologías del habla y del lenguaje y sus aplicaciones
      Aplicaciones del procesado del lenguaje oral y escrito. Impacto social.
      Bloques principales de un sistema de procesado del habla: reconocimiento del habla, procesado del lenguaje natural, conversión de texto a voz.
      El lenguaje como secuencia de palabras. Representación vectorial de palabras. Codificación one-hot. Representaciones vectoriales en un espacio continuo.
      Word2vec: Continuous bag-of-words versus Continuous skip-gram. Vectores GloVe. Estructuras y analogías en las representaciones vectoriales de palabras.
    2. Modelado del lenguaje
      Modelado estadístico basado en N-gramas.
      Modelado con redes neuronales. Redes recurrentes. Redes convolucionales. Sistemas de atención: el Transformer.
    3. Representaciones contextuales del lenguaje
      Pattern matching. Dynamic time warping.
      Modelos ocultos de Markov: reconocimiento de palabras aisladas
      Reconocimiento de habla continua: modelado acústico, modelado de lenguaje, búsqueda.
    4. Traducción Automática Neuronal
      Introducción a la traducción automática. Evaluación automatiza de la calidad: BLEU
      Traducción Automática con redes neuronales.
    5. Fundamentos del reconocimiento automático de la voz
      Pattern matching. Dynamic time warping.
      Modelos ocultos de Markov: reconocimiento de palabras aisladas
      Reconocimiento de habla continua: modelado acústico, modelado de lenguaje, búsqueda.
    6. Síntesis de voz
      Procesador lingüístico.
      Modelado de la prosodia.
      Generación de formas de onda.
      Métodos de concatenación.

    Actividades

    Actividad Acto evaluativo


    Desarrollo del tema: Introducción a la tecnologia del habla y del lenguaje y aplicaciones

    Introducción a la tecnologia del habla y del lenguaje y aplicaciones. Word vectors
    Objetivos: 3 2
    Contenidos:
    Teoría
    6h
    Problemas
    0h
    Laboratorio
    2h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    10h

    Desarrollo del tema: Modelado del lenguaje


    Objetivos: 6
    Contenidos:
    Teoría
    6h
    Problemas
    0h
    Laboratorio
    2h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    10h

    Desarrollo del tema: Reconocimiento automático del habla

    Reconocimiento automático del habla
    Objetivos: 5 6 7
    Contenidos:
    Teoría
    9h
    Problemas
    0h
    Laboratorio
    0h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    10h

    Desarrollo del tema: Síntesis de voz

    Síntesis de voz
    Objetivos: 2
    Contenidos:
    Teoría
    6h
    Problemas
    0h
    Laboratorio
    0h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    10h

    Desarrollo del tema: Representaciones contextuales del lenguaje


    Objetivos: 1
    Contenidos:
    Teoría
    9h
    Problemas
    0h
    Laboratorio
    2h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    16h

    Desarrollo del tema: Traducción Automática Neuronal

    Traducción Automática Neuronal

    Teoría
    6h
    Problemas
    0h
    Laboratorio
    2h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    10h

    Proyecto final

    Proyecto final
    Objetivos: 3 4
    Contenidos:
    Teoría
    3h
    Problemas
    0h
    Laboratorio
    7h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    24h

    Metodología docente

    Sesiones de teoría intercalando la exposición de nuevo material teórico con ejemplos prácticos.
    Tareas teóricas y prácticas agrupadas en temas.
    Proyecto final presentado en forma escrita y oral por los estudiantes.

    Método de evaluación

    La evaluación de la asignatura se basa en los siguientes aspectos:

    - Dos controles, un control intermedio y el examen final, para evaluar de forma individual los conocimientos adquiridos sobre los temas trabajados en las sesiones de teoría (60%) y las prácticas (15%)

    - Evaluación de los trabajos de laboratorio (25%): informes escritos y explicación oral del trabajo realizado y de los resultados.

    Bibliografía

    Básico

    Complementario

    Capacidades previas

    Cálculo y álgebra lineal
    Probabilidad básica y estadística
    Nivel alto de programación en Python
    Aprendizaje automático.
    Introducción al Deep Learning