Processament del Llenguatge Oral i Escrit

• Professorat
• Hores setmanals
• Competències
• Objectius
• Continguts
• Activitats
• Metodologia docent
• Mètode d'avaluació
• Bibliografia
• Capacitats prèvies

Professorat

Responsable

• Jose Adrian Rodriguez Fonollosa ( )

Altres

• Carlos Escolano Peinado ( )

Hores setmanals

Competències

Competències Tècniques

Competències tècniques

• CE5 - Dissenyar i aplicar tècniques de processat de senyal, triant entre diferents eines tecnològiques, incloses les de visió artificial, de reconeixement del llenguatge parlat i de tractament de dades multimèdia.
• CE6 - Construir o utilitzar sistemes de processat i comprensió del llenguatge escrit, integrant-lo en altres sistemes dirigits per les dades. Dissenyar sistemes de recerca d'informació textual o hipertextual i d'anàlisi de xarxes socials.

Competències Transversals

Transversals

• CT5 [Avaluable] - Ús solvent dels recursos d'informació. Gestionar l'adquisició, l'estructuració, l'anàlisi i la visualització de dades i informació en l'àmbit de l'especialitat i valorar de forma crítica els resultats d'aquesta gestió.
• CT6 - Aprenentatge autònom. Detectar deficiències en el propi coneixement i superar-les mitjançant la reflexió crítica i l'elecció de la millor actuació per ampliar aquest coneixement.
• CT7 [Avaluable] - Tercera llengua. Conèixer una tercera llengua, preferentment l'anglès, amb un nivell adequat oral i escrit i d'acord amb les necessitats que tindran els titulats i titulades.

Bàsiques

• CB4 - Que els estudiants puguin transmetre informació, idees, problemes i solucions a un públic tant especialitzat com no especialitzat.
• CB5 - Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia

Competències Tècniques Generals

Genèriques

• CG1 - Concebre sistemes computacionals que integren dades de procedències i formes molt diverses, construeixen amb ells models matemàtics, raonen sobre aquests models i actuen en conseqüència, aprenent de l'experiència.
• CG2 - Elegir i aplicar els mètodes i tècniques més adequats a un problema definit per dades que representin un repte pel seu volum, velocitat, varietat o heterogeneïtat, inclosos mètodes informàtics, matemàtics, estadístics i de processament del senyal.
• CG4 - Identificar oportunitats per a aplicacions innovadores orientades a dades en entorns tecnològics en contínua evolució.
• CG5 - Poder recórrer a coneixements fonamentals i metodologies de treball sòlides adquirits durant els estudis per adaptar-se als nous escenaris tecnològics del futur.

Objectius

1. Conèixer les tecnologies més importants d'aprenentatge profund d'interès en el processament del llenguatge oral i escrit.
   Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
2. L'alumne ha de conèixer les aplicacions més importants de la tecnologia de la parla i del llenguatge.
   Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
3. L'alumne ha de ser capaç de seleccionar la tecnologia de la parla i del llenguatge més adient per a una determinada tasca o aplicació.
   Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
4. Desenvolupar aplicacions que utilitzin la tecnologia de la parla de forma adequada i innovadora.
   Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
5. L'alumne ha de ser capaç d'identificar els paràmetres fonamentals de la veu en el domini temporal i freqüencial
   Competències relacionades: CE5, CT5, CT6, CT7, CG1, CB4, CB5,
6. L'alumne ha de conèixer les eines matemàtiques de modelatge i aprenentatge automàtic més útils en l'anàlisi de la veu com la quantificació vectorial, els models de barreges de gaussianes i els models ocults de Markov.
   Competències relacionades: CE5, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
7. L'alumne ha de conèixer les tècniques de modelatge estadístic del llenguatge.
   Competències relacionades: CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,

Continguts

1. Introducció a les tecnologies del llenguatge i la parla i les seves aplicacions
   Aplicacions del processat del llenguatge oral i escrit. Impacte social.
   Blocs principals d'un sistema de processament de la parla: reconeixement de la parla, processat del llenguatge natural, conversió de text a veu.
   El llenguatge com a seqüència de paraules. Representació vectorial de paraules. Codificació one-hot. Representacions vectorials en un espai continu.
   Word2vec: Continuous bag-of-words versus Continuous skip-gram. Vectors GloVe. Estructures i analogies en les representacions vectorials de paraules.
2. Modelatge del llenguatge.
   Modelatge estadístic basat en n-grames.
   Modelatge amb xarxes neuronals. Xarxes recurrents. Xarxes convolucionals. Sistemes d'atenció: el Transformer.
3. Representacions contextuals del llenguatge
   Representacions del llenguatge de propòsit general.
   Entrenament no supervisat. Sistemes unidireccionals i bidireccionals.
   Arquitectures principals: ULMfit, OpenAI GPT, Elm, BERT, XLM. Aplicacions.
4. Traducció Automàtica Neuronal
   Introducció a la traducció automàtica. Automatic evaluation of translations: BLEU
   Traducció Automàtica amb xarxes neuronals.
5. Fonaments del reconeixement automàtic de la veu
   Pattern matching. Dynamic time warping.
   Models ocults de Markov: reconeixement de parables aïllades.
   Reconeixement de parla contínua: modelat acústic, modelatge de llenguatge, cerca.
6. Síntesi de veu
   Processador lingüística.
   Modelatge de la prosòdia.
   Generació de formes dona.
   Mètodes de concatenación.

Activitats

Activitat Acte avaluatiu

Metodologia docent

Mètode d'avaluació

Bibliografia

Bàsica:

• Spoken language processing: a guide to theory, algorithm and system development - Huang, X.; Acero, A.; Hon, H.-W, Prentice Hall, 2001. ISBN: 0130226165
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991002590969706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep learning - Goodfellow, I.; Bengio, Y.; Courville, A, The MIT Press, 2016. ISBN: 9780262035613
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004107709706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep learning for NLP and speech recognition - Kamath, U.; Liu, J.; Whitaker, J, Springer, 2019. ISBN: 9783030145958
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004193579706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Text-to-speech synthesis - Taylor, P, Cambridge University Press , 2009. ISBN: 9780521899277
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003624489706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Capacitats prèvies