Hora de la Ciudad de México (UTC-5)
08h50 Bienvenida
09h00 Conferencia Magistral
¿Escriben los androides sobre ovejas eléctricas?
Julio Gonzalo
Depto. de Lenguajes y Sistemas Informáticos
Universidad Nacional de Educación a Distancia (UNED), Madrid, España.
¿Escriben los androides sobre ovejas eléctricas?
En esta charla hablaremos de dos investigaciones relacionadas con la evaluación en el área del Natural Language Processing (NLP), situadas en los extremos del espectro de tareas evaluables: de la evaluación de textos creativos a la clasificación ordinal. El mensaje global es muy simple: evaluar es muy difícil, y al mismo tiempo es uno de los aspectos más relevantes (si no el que más) de la investigación en NLP.
La primera parte estará dedicada a la evaluación de los transformers en tareas de escritura creativa: en particular, en la tarea de inventar una posible sinopsis para una película a partir de un título. En nuestro experimento, un transformer vence a los humanos de forma estadísticamente significativa, obteniendo mejor puntuación en gramaticalidad, coherencia, relevancia para el título y atractivo que las sinopsis redactadas por profesionales. Sin embargo, interpretar de este resultado que los transformers ya son capaces de escribir textos creativos mejor que los humanos sería equivocado: es necesario entender en detalle las dificultades y las limitaciones del proceso de evaluación y contextualizar bien este tipo de resultados llamativos.
Podría parecer que las dificultades de evaluación desaparecen cuando descendemos a tareas más convencionales, como las de clasificación. La segunda parte de la charla está dedicada a mostrar que no es así. En particular, estudiaremos el problema de la clasificación ordinal, en la que las categorías tienen un orden entre sí. Estas tareas son frecuentes en NLP. Por ejemplo, identificar la polaridad de sentimientos suele hacerse con tres clases (positivo, neutral, negativo) que tienen un orden relativo; y la tarea de textual entailment clasifica pares de textos como implicación, neutral o contradicción, que también tienen un orden relativo. Sorprendentemente, en este tipo de tareas se suelen emplear métricas de evaluación importadas de otros problemas (clasificación y regresión), lo que da lugar a problemas formales y empíricos. Discutiremos estos problemas e introduciremos la métrica CEM, específicamente diseñada para problemas de clasificación ordinal y con mejores propiedades formales y empíricas.
10h00 1ra sesión pláticas generales
Estudio bibliométrico sobre PLN en México y en el mundo. ¿Quiénes somos y a dónde vamos?
Gerardo Sierra, Roberto López Martínez, IINGEN/UNAM
Avances y retos en el Procesamiento de Lenguaje Natural para las lenguas indígenas del continente americano.
Manuel Mager, de University of Stuttgart.
How 'imaginative' do you feel today? Automatic analysis of imaginary processes for aptitude detection
Esaú Villatoro Tello, UAM/Cuajimalpa
11h30 pausa
11h45 2da sesión pláticas generales
Detecting Emotional Evolution on Twitter during the COVID-19 Pandemic Using Text Analysis
Daniela Moctezuma, CentroGEO
Automatic Threatening Language Detection and Target Identification in Urdu Tweets
Grigori Sidorov, Maaz Amjad , CIC/IPN
What they say and How they say it: Learning a multi-channel representation for the detection of mental disorders in social media
Ezra Aragón, Manuel Montes y Gómez, INAOE, Pastor López Monroy, CIMAT, Luis Carlos González Gurrola, UACH
13h15 Invitación al CLEF 2022
Alberto Barrón
13h30 Despedida
Hora de la Ciudad de México (UTC-5)
08h50 Bienvenida
09h00 Overview of FakeDeS at IberLEF 2021: Fake News Detection in Spanish Shared Task
Helena Gómez-Adorno, Juan-Pablo Posadas-Durán, Gemma Bel-Enguix, Claudia Porto Capetillo
09h30 Intervenciones de participantes de esta tarea
ForceNLP at FakeDeS 2021: Analysis of Text Features Applied to Fake News Detection in Spanish
Jorge Reyes Magaña, Luis Enrique Argota Vega
FakeDeS 2021: Fake news detection based on random forests, k-nearest neighbors, and n-grams for a Spanish corpora
Víctor Lomas-Barrie, Nora Pérez, Víctor Manuel Lara, and Antonio Neme
10h15 Overview of REST-MEX al IberLEF 2021: Recommendation System for Text Mexican Tourism
Miguel Á. Álvarez-Carmona, Ramón Aranda, Samuel Arce-Cárdenas, Daniel Fajardo-Delgado, Rafael Guerrero-Rodríguez, A. Pastor López-Monroy, Juan Martínez-Miranda, Humberto Pérez-Espinosa, Ansel Y. Rodríguez-González
10h45 Intervenciones de participantes de esta tarea
An embeddings based recommendation system for mexican tourism
Jean Arreola, Lizeth García, Jorge Ramos-Zavaleta, Adrián Rodríguez
Bert-based Approach for Sentiment Analysis of Spanish Reviews from TripAdvisor
Juan Vásquez, Helena Gómez-Adorno, Gemma Bel-Enguix
DCI-UG participation at REST-MEX 2021: A Transfer Learning Approach for Sentiment Analysis in Spanish
Geovanni Velázquez Medina, Delia Irazú Hernández Farías
11h30 pausa
11h45 Conferencia Magistral
Natural Language Processing for Health Research – Pharmacovigilance from Social Media
Graciela González Hernández
Division of Informatics,
University of Pennsylvania, USA.
Summary: Social media has grown in popularity for health-related research as it has become evident that it can be a good source of patient insights. Be it Twitter, Reddit, Instagram, Amazon reviews or health forums, researchers have collected and processed user comments and published many papers on different uses of social media data, with more or less strictness as to their study design and use of the data.
Using these data presents many challenges when it needs to be used in epidemiology. From identifying the right cohort and reducing bias to finding the ‘needle in the haystack’, social media data is sometimes misused and frowned upon when it is not properly handled. I will discuss some aspects of how solid scientific principles and careful design of natural language processing methods can help ‘tame’ the noise in social media data and enable digital epidemiology, particularly for pharmacovigilance.
12h45 Overview of MeOffendEs at IberLEF 2021: Offensive Language Detection in Spanish Variants
Flor Miriam Plaza-del-Arco, Marco Casavantes, Hugo Jair Escalante, M. Teresa Martín-Valdivia, Arturo Montejo-Ráez, Manuel Montes-y-Gómez, Horacio Jarquín-Vásquez, Luis Villaseñor-Pineda
13h00 Intervenciones de participantes de esta tarea
DCCD-INFOTEC at MeOffendEs@IberLEF21 Subtask 3: A Transfer Learning Approach Based on EvoMSA’s Stacked Generalization
José J. Calderón, Eric S. Tellez, Mario Graff
Transformers Pipeline for Offensiveness Detection in Mexican Spanish Social Media
Víctor Gómez-Espinosa, Víctor Muñiz-Sánchez, Adrián Pastor López-Monroy
Using Lexical Resources for Detecting Offensiveness in Mexican Spanish Tweets
Daniel Abraham Huerta-Velasco, Hiram Calvo
13h45 Mesa - experiencias del MexLEF, tareas próximas para 2022
14h00 Despedida