teaching‎ > ‎

Informationsverarbeitung II 2017

Informationsverarbeitung II: Informationsextraktion mit Neuronalen Netzwerken

Zeit: Do 10:00-12:00
Raum: 133
Start: 27.4.2017

Anmeldung zu Vorlesung bitte über LSF.
>>Wenn Sie sich nicht über das LSF anmelden können, benutzen Sie bitte diesen Link.<<
(Anmeldung per Email ist nicht möglich)

Bitte kommen Sie an Tagen, an denen 2 Studenten Präsentationen haben, um Punkt 10:00 zum Seminar, damit wir auch genug Zeit für Fragen und Diskussion haben.
Dafür machen wir an Tagen mit nur einem Studentenvortrag früher Schluss (10:15-11:15), oder gleichen die Zeit am Ende des Semesters aus.

In dieser Veranstaltung werden Grundlagen und aktuelle Forschung zum Thema Neuronale Netzwerke in der Sprachverarbeitung behandelt. Ausgehend von grundsätzlichen Konzepten zum Lernen von Neuronalen Netzen (Basis ist hier das Buch “Deep Learning” von Goodfellow, Bengio and Courville http://www.deeplearningbook.org/), werden spezifische Architekturen anhand maßgebender NLP Anwendungen (z.B. Sentiment Analysis, Relation Extraction, Machine Translation, Knowledge Representation) vorgestellt.

Abgabetermin für Hausarbeiten: 15.8.

 Date Topics Slides Materials/Comments
 27.4.2017 Course Intro
 Topics Overview
 Machine Learning Basics I
 (pdf)
 
 Homework:
Read Ch. 2 of the book, and send me your questions

 4.5.2017 Linear Algebra Q&A
 Machine Learning Basics II
 (pdf) Homework:
Read Ch. 3 of the book, and send me your questions
 11.5.2017 Probability Q&A
 Machine Learning Basics III
 (pdf) 
 18.5.2017 Machine Learning Basics IV (pdf) 
 25.5.2017 No Seminar / Public Holiday
  
 1.6.2017 Feedforward Networks (Dulam Baatarkhuu)
 Word Embeddings (Maximilian Martin)
  
 8.6.2017  Regularization (Anna Wurst) 
 Convolutional NNs (Eduard Saller)
  
 15.6.2017 No Seminar / Public Holiday  
 22.6.2017 CNNs for Relations / Dilated CNNs (Karl-Heinz Krachenfels)
 Recurrent Neural Networks (Simon Schäfer)
  
 29.6.2017

 Attention Mechanisms (Luisa Berlanda)
 Embeddings of Sentences etc (Kevin Falkner)
  
 6.7.2017 Relation Extraction / Universal Schema (Azada Rustamova)  
 13.7.2017 Tensorflow (Ivan Bilan)
 Das Seminar wird im CIP-Pool Gobi stattfinden.
Link zum Tutorial: (github)
 
 20.7.2017 Reading Group  
 27.7.2017 Reading Group  


Themen:

  • Machine Learning Basics (Benjamin Roth)

  • Deep Learning Fundamentals

    • Feed Forward Networks (DL Book, chapter 6)

    • Regularization (DL Book, chapter 7)

    • Training and Optimization (DL Book, chapter 8)

  • Learning Vector Representations

    • (Shallow) Word embeddings (Word2Vec)

      • Mikolov et al.: “Distributed representations of words and phrases and their compositionality” NIPS 2013

      • Mikolov et al.: “Efficient Estimation of Word Representations in Vector Space” ArXiv 2013

      • Goldberg and Levy: “word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method” ArXiv 2014

    • Embeddings of Sentences, Paragraphs and Documents

      • Paragraph Vectors: Le and Mikolov: “Distributed Representations of Sentences and Documents” ICML 2014

      • Kiros et al: “Skip-Thought Vectors” NIPS 2015

  • Convolutional Networks

    • Overview (DL Book, chapter 9)

    • General NLP with Convolutional Networks:

      • Collobert & Weston et al.: Natural language processing (almost) from scratch, JMLR 2011

    • Relation Classification mit Convolutional Networks:

      • Kalchbrenner et al.: A convolutional neural network for modelling sentences, ACL 2014

      • Dos Santos et al.: Classifying relations by ranking with convolutional neural networks, ACL

  • Recursive and Recurrent Nets

    • Overview (DL Book, chapter 10 excluding 10.10ff)

    • Gated Recurrent Nets

      • DL Book, chapter 10.10 (optionally also: 10.7, 10.11)

      • Hochreiter & Schmidhuber: "Long Short-term Memory." Neural Computation 1997

      • Chung et al.:  "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling." NIPS 2014 DL Workshop.

    • Machine Translation using LSTMs

      • Sutskever et al.: “Sequence to sequence learning with neural networks.” NIPS 2014

      • Bahdanau et al.: “Neural Machine Translation by Jointly Learning to Align and Translate.” ICLR 2015.

  • Attention Mechanisms

      • Hermann et al.: “Teaching Machines to Read and Comprehend”, NIPS 2015

      • Vinyals et al.: “Pointer Networks”, NIPS 2015

  • Learning to represent relational information

    • Matrix factorization: Universal Schema

      • Riedel et al: "Relation extraction with matrix factorization and universal schemas." (NAACL 2013)

      • Verga et al: “Multilingual relation extraction using compositional universal schema” (NAACL 2016)

    • Translating embeddings: TransE

      • Bordes et al.: "Translating embeddings for modeling multi-relational data." NIPS 2013.

    • Tensor factorization: Rescal:

      • Nickel et al: "Learning from latent and observable patterns in multi-relational data." NIPS 2014

  • Deep Learning Frameworks

    • Theano

    • Tensorflow

    • Keras

    • (Torch,...)

Ċ
Benjamin Roth,
Apr 27, 2017, 3:33 AM
Ċ
Benjamin Roth,
May 11, 2017, 12:44 AM
Ċ
Benjamin Roth,
May 18, 2017, 12:17 AM
Ċ
Benjamin Roth,
May 23, 2017, 12:09 PM
Ċ
Benjamin Roth,
Apr 27, 2017, 3:33 AM
Comments