Procesado del Lenguaje Oral y Escrito

Usted está aquí

Créditos
6
Tipos
Obligatoria
Requisitos
Esta asignatura no tiene requisitos, pero tiene capacidades previas
Departamento
TSC
En este curso se estudian las denominadas tecnologías del habla, una parte fundamental de la inteligencia artificial que tiene como objetivo el desarrollo de sistemas para analizar, entender, traducir, y generar lenguaje humano oral o escrito. Se pone especial atención en la nuevas tecnologías basadas en el aprendizaje profundo y sus aplicaciones. El proyecto final da a los estudiantes la oportunidad de profundizar sobre un tema en particular, y también tiene como objetivo ayudar a potenciar sus propias habilidades de desarrollo de aplicaciones o investigación.

Profesores

Responsable

  • Marta Ruiz Costa-Jussa ( )

Otros

  • Jose Adrian Rodriguez Fonollosa ( )

Horas semanales

Teoría
3
Problemas
0
Laboratorio
1
Aprendizaje dirigido
0.4
Aprendizaje autónomo
6

Competencias

Competencias Técnicas

Competencias técnicas

  • CE5 - Diseñar y aplicar técnicas de procesado de señal, eligiendo entre distintas herramientas tecnológicas, incluidas las de visión Artificial, de reconocimiento del lenguaje hablado y las de tratamiento de datos multimedia.
  • CE6 - Construir o utilizar sistemas de procesado y comprensión del lenguaje escrito, integrándolo en otros sistemas dirigidos por los datos. Diseñar sistemas de búsqueda de información textual o hipertextual y de análisis de redes sociales.

Competencias Transversales

Transversales

  • CT5 - Uso solvente de los recursos de información. Gestionar la adquisición, la estructuración, el análisis y la visualización de datos e información en el ámbito de especialidad y valorar de forma crítica los resultados de dicha gestión.
  • CT6 - Aprendizaje autónomo. Detectar deficiencias en el propio conocimiento y superarlas mediante la reflexión crítica y la elección de la mejor actuación para ampliar dicho conocimiento.
  • CT7 - Tercera lengua. Conocer una tercera lengua, preferentemente el inglés, con un nivel adecuado oral y escrito y en consonancia con las necesidades que tendrán los titulados y tituladas.

Básicas

  • CB4 - Que los estudiantes puedan transmitir información, ideas, problemas y soluciones a un público tanto especializado como no especializado.
  • CB5 - Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía

Competencias Técnicas Genéricas

Genéricas

  • CG1 - Concebir sistemas computacionales que integren datos de procedencias y formas muy diversas, creen con ellos modelos matemáticos, razonen sobre dichos modelos y actúen en consecuencia, aprendiendo de la experiencia.
  • CG2 - Elegir y aplicar los métodos y técnicas más adecuados a un problema definido por datos que representen un reto por su volumen, velocidad, variedad o heterogeneidad, incluidos métodos informáticos, matemáticos, estadísticos y de procesado de la señal.
  • CG4 - Identificar oportunidades para aplicaciones innovadoras orientadas a datos en entornos tecnológicos en continua evolución.
  • CG5 - Poder recurrir a conocimientos fundamentales y metodologías de trabajo sólidas adquiridos durante los estudios para adaptarse a los nuevos escenarios tecnológicos del futuro.

Objetivos

  1. Conocer las tecnologías más importantes de aprendizaje profundo de interés en el procesado del lenguaje oral y escrito.
    Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  2. El alumno debe conocer las aplicaciones más importantes de la tecnología del habla y del lenguaje.
    Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  3. El alumno ha de ser capaz de seleccionar la tecnología del habla y del lenguaje más adecuada para una determinada tarea o aplicación.
    Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  4. Desarrollar aplicaciones que utilicen la tecnología del habla de froma adecuada e innovadora.
    Competencias relacionadas: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  5. The student should be able to identify the fundamental parameters of the voice in the temporal and frequency domain
    Competencias relacionadas: CE5, CT5, CT6, CT7, CG1, CB4, CB5,
  6. El alumno debe conocer las herramientas matemáticas de modelado y aprendizaje automático más útiles en el análisis de la voz como la cuantificación vectorial, los modelos de mezclas de Gaussianas y los modelos ocultos de Markov.
    Competencias relacionadas: CE5, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  7. El alumno debe conocer las técnicas de modelado estadístico del lenguaje.
    Competencias relacionadas: CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,

Contenidos

  1. Introducción a la tecnologías del habla y del lenguaje y sus aplicaciones
    Aplicaciones del procesado del lenguaje oral y escrito. Impacto social.
    Bloques principales de un sistema de procesado del habla: reconocimiento del habla, procesado del lenguaje natural, conversión de texto a voz.
    El lenguaje como secuencia de palabras. Representación vectorial de palabras. Codificación one-hot. Representaciones vectoriales en un espacio continuo.
    Word2vec: Continuous bag-of-words versus Continuous skip-gram. Vectores GloVe. Estructuras y analogías en las representaciones vectoriales de palabras.
  2. Modelado del lenguaje
    Modelado estadístico basado en N-gramas.
    Modelado con redes neuronales. Redes recurrentes. Redes convolucionales. Sistemas de atención: el Transformer.
  3. Representaciones contextuales del lenguaje
    Pattern matching. Dynamic time warping.
    Modelos ocultos de Markov: reconocimiento de palabras aisladas
    Reconocimiento de habla continua: modelado acústico, modelado de lenguaje, búsqueda.
  4. Traducción Automática Neuronal
    Introducción a la traducción automática. Evaluación automatiza de la calidad: BLEU
    Traducción Automática con redes neuronales.
  5. Fundamentos del reconocimiento automático de la voz
    Pattern matching. Dynamic time warping.
    Modelos ocultos de Markov: reconocimiento de palabras aisladas
    Reconocimiento de habla continua: modelado acústico, modelado de lenguaje, búsqueda.
  6. Síntesis de voz
    Procesador lingüístico.
    Modelado de la prosodia.
    Generación de formas de onda.
    Métodos de concatenación.

Actividades

Actividad Acto evaluativo


Desarrollo del tema: Introducción a la tecnologia del habla y del lenguaje y aplicaciones

Introducción a la tecnologia del habla y del lenguaje y aplicaciones. Word vectors
Objetivos: 3 2
Contenidos:
Teoría
6h
Problemas
0h
Laboratorio
2h
Aprendizaje dirigido
0h
Aprendizaje autónomo
10h

Desarrollo del tema: Modelado del lenguaje


Objetivos: 6
Contenidos:
Teoría
6h
Problemas
0h
Laboratorio
2h
Aprendizaje dirigido
0h
Aprendizaje autónomo
10h

Desarrollo del tema: Reconocimiento automático del habla

Reconocimiento automático del habla
Objetivos: 5 6 7
Contenidos:
Teoría
9h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
1h
Aprendizaje autónomo
10h

Desarrollo del tema: Síntesis de voz

Síntesis de voz
Objetivos: 2
Contenidos:
Teoría
6h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
10h

Desarrollo del tema: Representaciones contextuales del lenguaje


Objetivos: 1
Contenidos:
Teoría
9h
Problemas
0h
Laboratorio
2h
Aprendizaje dirigido
1h
Aprendizaje autónomo
16h

Desarrollo del tema: Traducción Automática Neuronal

Traducción Automática Neuronal

Teoría
6h
Problemas
0h
Laboratorio
2h
Aprendizaje dirigido
0h
Aprendizaje autónomo
10h

Teoría
3h
Problemas
0h
Laboratorio
7h
Aprendizaje dirigido
4h
Aprendizaje autónomo
24h

Metodología docente

Sesiones de teoría intercalando la exposición de nuevo material teórico con ejemplos prácticos.
Tareas teóricas y prácticas agrupadas en temas.
Proyecto final presentado en forma escrita y oral por los estudiantes.

Método de evaluación

La evaluación de la asignatura se basa en tres aspectos:

- Dos controles, un control intermedio y el examen final, para evaluar de forma individual los conocimientos adquiridos sobre los temas trabajados en las sesiones de teoría y las prácticas (40%)

- Evaluación de los trabajos de laboratorio: (30%)

- Evaluación del proyecto final (30%)

Únicamente se puede llevar a reevaluación el 40% de la nota resultante de los 2 controles realizados a lo largo del curso. La nota obtenida sustituirá la nota obtenida en los 2 exámenes realizados anteriormente durante el curso, con la misma ponderación.

Bibliografía

Básica:

Complementaria:

Capacidades previas

Cálculo y álgebra lineal
Probabilidad básica y estadística
Nivel alto de programación en Python
Aprendizaje automático.
Introducción al Deep Learning