Materiales
Libros de referencia:
C. Manning and H. Schütze (1999) Foundations of Statistical Natural Language Processing MIT Press.
Jurafsky & Martin 2009 Speech and Language Processing.
Revistas de referencia:
Language Resources and Evaluation
Journal of Machine Learning Research
Conferencias del área:
ACL (Association for Computational Linguistics)
EMNLP (Empirical Methods for Natural Language Processing)
NAACL (North American Chapter of the Association for Computational Linguistics)
EACL (European Chapter of the Association for Computational Linguistics)
COLING (Conference on Computational Linguistics)
y papers seleccionados en:
y algunas más locales:
Materiales de las clases
16 de agosto
Fundamentos de Lingüística
referencia: capítulo 3 de Manning y Schütze 1999
filminas: Herramientas Libres para Procesamiento del Lenguaje Natural y filminas sobre esenciales lingüísticos (prestadas de la clase correspondiente del curso de Jan Hajic en JHU)
para ampliar:
Emily Bender. 2013. Linguistic Fundamentals for Natural Language Processing. 100 Essentials from Morphology and Syntax. Morgan Claypool. (https://doi.org/10.2200/S00493ED1V01Y201303HLT020)
18 de agosto (mi cumple :)
Fundamentos de Aprendizaje Automático
referencia: capítulos 1 y 2 de Machine Learning, de Tom Mitchell.
filminas: Introducción a Machine Learning de Alex Smola.
para ampliar:
- leer los libros
- videolectures simples y cortas del clásico curso de Machine Learning en Coursera a cargo de Andrew Ng: 1.1. 1.2 1.3
- videolectures más de horizonte:
- Never Ending Language Learning, (Tom Mitchell) video lecture on our computer that is learning to read the web, Brown Univ., Feb. 2014.
- Natural Language Processing with Deep Learning, a cargo de Chris Manning y Richard Socher.
- algunas más prácticas:
- un tutorial cualquiera de Machine Learning con Python
- Kaggle, plataforma de concursos de Machine Learning
- Knime, plataforma visual para hacer Machine Learning
27 de agosto
Adquisición Léxica
referencia: capítulo 5 de Foundations of Statistical Natural Language Processing de Manning y Schütze
filminas: Collocations de Rada Mihalcea y Lexical Acquisition de Nathalie Japkowicz
para ampliar:
- la tarea compartida de PARSEME para identificar expresiones verbales multipalabra
- Cross-Lingual Induction and Transfer of Verb Classes Based on Word Vector Space Specialisation, de Ivan Vulić, Nikola Mrkšić, Anna Korhonen, EMNLP 2017.
- Probabilistic Distributional Semantics with Latent Variable Models, de Diarmuid Ó Séaghdha y Anna Korhonen, Computational Linguistics 40 (3), 2014.
29 y 30 de agosto
Semejanza entre palabras
referencia: capítulos 15, 16 y 17 de Speech and Language Processing (3a edición) de Jurafsky y Martin
filminas: Las filminas correspondientes a ese capítulo, Vector Semantics, del mismo libro, pero antes veremos un poquito sobre semejanza entre palabras SIN espacio vectorial. También usaremos algunas filminas sobre cómo se construye la representación de palabras en un espacio vectorial de Gemma Boleda y Marco Baroni para el curso de NLP de Ray Mooney. Terminaremos viendo una intro a vectores densos, y si nos da tiempo veremos un clásico de todos los tiempos, el Discovering Word Senses from Text de Pantel y Lin en el KDD 2002.
para ampliar:
- el curso corto de Stefan Evert de Introducción a la Semántica Distribucional
4 y 5 de septiembre
Clases de equivalencia entre palabras, clustering
referencia: capítulos sobre flat y hierarchical clustering del libro Information Retrieval de Chris Manning, Prabhakar Raghavan y Hinrich Schütze
filminas: flat clustering y hierarchical clustering asociadas al libro
instrucciones para el práctico sobre clustering!
papers para leer y contestar preguntas (en orden de prioridad):
- Distributed Document and Phrase Co-embeddings for Descriptive Clustering. Motoki Sato, Austin J. Brockmeier, Georgios Kontonatsios, Tingting Mu, John Y. Goulermas, Jun'ichi Tsujii and Sophia Ananiadou. EACL 2017.
- qué es un co-embedding?
- cuál es la diferencia entre el paragraph vector model y word2vec?
- qué métodos baseline se han usado?
- cómo se ha realizado la evaluación?
- BabelDomains: Clustering Lexical Resources by Domain of Knowledge. Jose Camacho-Collados and Roberto Navigli. EACL 2017.
- qué es un dominio?
- cómo se integran las heurísticas con los métodos de machine learning en este trabajo?
- qué método baseline se ha usado?
- cómo se ha realizado la evaluación?
- Determining Gains Acquired from Word Embedding Quantitatively using Discrete Distribution Clustering. Jianbo Ye, Yanran Li, Zhaohui Wu, James Z. Wang and Jia Li. ACL 2017.
11 de septiembre
Clustering asimétrico
referencia: Modelling the Substitutability of Discourse Connectives. Ben Hutchinson. ACL 2005.
también pueden ver el paper relacionado: Acquiring the Meaning of Discourse Markers. Ben Hutchinson. ACL 2004.
ambos papers están basados en la Rhetorical Structure Theory
y trataremos de terminar de ver los papers del día anterior
13 de septiembre
Feature selection
referencia: An Introduction to Variable and Feature Selection. Isabelle Guyon and André Elisseeff. Journal of Machine Learning Research 3 (2003) 1157-1182
18 de septiembre
Reglas de asociación
referencia: el capítulo n. 2 del libro Web Data Mining de Bing Liu y también pueden revisar el artículo de la wikipedia
filminas: las filminas sobre reglas de asociación del curso Data Mining and Text Mining de Bing Liu
20 de septiembre
Desambiguación y Discriminación de Sentidos
referencia: el clásico paper de Hinrich Schütze Automatic Word Sense Discrimination, volveremos al de Pantel y Lin Discovering Word Senses from Text y haremos un vista de águila sobre el método basado en grafos de Jean Véronis, HyperLex: lexical cartography for information retrieval
filminas: no, pero daremos un bonito paseo por las diferentes ediciones de SenSeval y SemEval
25 de septiembre
Argument Mining
referencia: Argumentation Mining: State of the Art and Emerging Trends, de Lippi y Torroni, en la ACM Transactions on Internet Technology, 16 (2), Abril 2016
filminas: vamos a usar el pizarrón, pero también pueden acudir a las filminas (1 y 2) del curso Foundations of Argumentation for Argument Mining que dimos en la ESSLLI 2017.
para ampliar: los diferentes Workshops en Argument Mining que se vienen haciendo en los últimos años:
- Argument Mining Workshop at EMNLP 2017
- Argument Mining Workshop at ACL 2016
- Argument Mining Workshop at NAACL 2015
- Argument Mining Workshop at ACL 204
27 de septiembre
Feria de proyectos
2 de octubre
Regresión Lineal, Regresión Logística y Redes Neuronales
referencia: Capítulo 4 del libro de Machine Learning, de Tom Mitchell.
filminas: Adaptadas del curso de Andrew Ng: Linear Regression, Logistic Regression, Neural Networks.
para ampliar:
6 de octubre
Redes neuronales recurrentes - Redes neuronales convolucionales
filminas: Adaptadas del curso de stanford, incluyen el link a las originales: Recurrent Neural Networks. Para convolucionales no hubo filminas, se mostró el artículo de WildML: Understanding convolutional neural networks for NLP.
para ampliar:
- WildML tutorial: Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs
- Colah's blog: Understanding LSTM Networks
9 de octubre
Vectores de palabras
referencia: Papers de Mikolov [1] y [2]. Paper que explica un poco mejor como aprende word2vec de Xin Rong. Paper que explica la similitud entre word2vec y LSA de Levy.
filminas: Adaptadas del curso de stanford: Word Vectors Representations.
para ampliar:
- Stanford course: Natural Language Processing with Deep Learning
- Colah's blog: Deep Learning, NLP, and Representations
- Curso de ESSLLI 2017 de Hinrich Schütze: Embeddings and Deep Learning
13 de octubre
Modelos de lenguaje usando RNNs en Keras
Referencias:
- Blog de Karpathy
- Un blogpost con una explicación de RNNs para modelos de lenguaje desde cero
- Otro blogpost de cómo usar TimeDistributed en Keras para distintos tipos de tareas.
Recursos:
- Notebook con ejercicios y notebook completa
- Texto de Borges
18 de octubre
Aprendizaje semi-supervisado
- referencia: el artículo de la Wikipedia sobre semi-supervised learning, el survey de 2006 (!!) de Jerry Zhu y el clásico paper de Yarowsky 1995 (!!!) Unsupervised Word Sense Disambiguation Rivaling Supervised Methods
- filminas: Tutorial sobre semi-supervised learning de Jerry Zhu en ICML 2007
20 de octubre
Aprendizaje activo y repaso de algoritmos clásicos de Machine Learning
- filminas: tutorial en ICML 2009 y un overview de ML pero también pueden ver esta página o esta otra
25 de octubre
Machine translation (Statistical y Neural)
- referencia: Statistical MT Handbook by Kevin Knight
- filminas: Intro a SMT de Kevin Knight y Philip Koehn y de NMT de Fabienne Cap
- para ampliar:
27 de octubre
Últimas tendencias: multimodalidad y grounding
Sina Zarrieß and David Schlangen (2017) Deriving continous grounded meaning representations from referentially structured multimodal contexts. EMNLP 2017
Ben Athiwaratkun and Andrew Gordon Wilson (2017) Multimodal Word Distributions. ACL 2017
Prashanth Vijayaraghavan, Soroush Vosoughi and Deb Roy (2017) Twitter Demographic Classification Using Deep Multi-modal Multi-task Learning. ACL 2017
30 de octubre y 1 de noviembre
Recurrent Attention Network on Memory for Aspect Sentiment Analysis
Deep Joint Entity Disambiguation with Local Neural Attention
Part-of-Speech Tagging for Twitter with Adversarial Neural Networks
Exploring Vector Spaces for Semantic Relations
3 y 6 de noviembre
clases suspendidas
8 de noviembre
10 de noviembre
Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints
13 de noviembre
An Insight Extraction System on BioMedical Literature with Deep Neural Networks
Semi-Supervised Recurrent Neural Network for Adverse Drug Reaction Mention Extraction