ASSIN 2

Apresentação

ASSIN 2 é segunda Avaliação de Similaridade Semântica e Inferência Textual, e foi um workshop realizado em conjunto com o STIL 2019.

ASSIN 2 dá continuidade à primeira edição do ASSIN, propondo uma nova avaliação conjunta com novos dados para duas diferentes tarefas que tratam da relação entre duas sentenças: Similaridade Semântica Textual e Reconhecimento de Inferência.

A tarefa de Similaridade Semântica Textual consiste em quantificar o grau de equivalência semântica, já o Reconhecimento de Inferência consiste em classificar se a primeira sentença implica que a segunda seja verdade ou não.

Dados

Considerando o estado da arte do Processamento de Linguagem Natural do português e trabalhos recentes da comunidade internacional, o corpus usado na ASSIN 2 é compostos de sentenças simples. Seguindo as práticas utilizadas no SemEval 2014 Task 1, tentamos retirar do corpus entidades nomeadas, discurso indireto e manter todos os verbos no presente. As instruções de anotação dadas aos anotadores estão disponíveis.

Os dados de treino e validação são compostos, respectivamente, por 6.500 e 500 pares de sentenças em português do Brasil, anotados para inferência e similaridade semântica. Os valores de similaridade semântica vão de 1 a 5, e as classes de inferência são entailment e none. Os dados de teste são compostos por aproximadamente 3.000 pares de sentenças, com os mesmos fenômenos linguísticos e anotações dos dados de treinamento. Todos os dados foram anotados manualmente.

• Dados de treino (excluído o conjunto de validação)
• Dados de validação
• Dados de teste (blind)
• Dados de teste (completo)

Avaliação

A avaliação das submissões ao ASSIN 2 foi feita com as mesmas métricas do ASSIN, usando o F1 de precisão e cobertura como métrica primária para inferência textual e correlação de Pearson para similaridade semântica. Os scripts de avaliação são os mesmos da edição anterior.

Fórum

https://groups.google.com/forum/#!forum/assin2

Datas importantes

• Chamada para participação --- Maio/Junho
• Lançamento dos dados de treino --- 6 de Junho 16 de junho
• Lançamento dos dados de teste --- 6 de setembro 16 de setembro
• Avaliação --- 16 de Setembro 26 de setembro
• Encontro da tarefa --- 15-18 de outubro
• Primeira versão dos artigos --- TBA
• Versão final dos artigos --- TBA

Organização

Livy Real (B2W Digital/Grupo de Linguística Computacional - USP)

Hugo Gonçalo Oliveira (CISUC, Universidade de Coimbra)

Erick Fonseca (Instituto de Telecomunicações, Lisboa)

Publicações

• Real, Livy; Fonseca, Erick; Gonçalo Oliveira, Hugo. The ASSIN 2 shared task: a quick overview (STIL 2019)

Agradecimentos

Gostaríamos de agradecer profundamente a Alissa Canesim (Universidade Estadual de Ponta Grossa), Amanda Oliveira (Stilingue), Ana Cláudia Zandavalle (Stilingue), Beatriz Mastrantonio (Stilingue - Universidade Federal de Ouro Preto), Carolina Gadelha (Stilingue), Denis Owa (Pontifícia Universidade Católica de São Paulo), Evandro Fonseca (Stilingue), Marcos Zandonai (Universidade do Vale do Rio dos Sinos), Renata Ramisch (Núcleo Interinstitucional de Linguística Computacional - Universidade Federal de São Carlos), Talia Machado (Universidade Estadual de Ponta Grossa) por terem feito parte desta tarefa com o único propósio de produzir recursos abertos para a comunidade do processamento computacional do português. Também agradecemos o Grupo de Linguística Computacional da Universidade de São Pauolo por tornarem público o SICK-BR, que serviu de base para o corpus ASSIN.

Resultados

A tabela abaixo inclui uma aba "hard pairs", onde estão resultados em pares supostamente mais difíceis de serem classificados. Estes foram obtidos da seguinte forma. Um classificador baseline foi treinado para classificar pares quanto à inferência tendo acesso apenas à segunda sentença de cada par. Todos os pares classificados por esse baseline incorretamente foram tratados como difíceis e usados para calcular as métricas daquela aba, e a lista com os ids deles pode ser encontrada aqui. Note que é possível chegar a um conjunto de pares difíceis um pouco diferente usando um classificador inicializado com uma semente aleatória diferente.