Language Resources & Software

ジオパージング・場所参照表現抽出

地球の歩き方旅行記データセット・関連ツール

• • 地球の歩き方旅行記データセット（公開停止中）

  • 日本語旅行記ジオパージングデータセット ATD-MCL

  • 日本語海外旅行記ジオパージングデータセット ATD-MCL-Overseas

  • 日本語旅行記移動軌跡抽出データセット ATD-VSO（公開予定）

  • ATD-MCL-baselines

  • LUKE-NER

  • LUKE-Coref

日本語歴史的紀行文アノテーションデータセット JHistTravel

• データ：https://github.com/naist-nlp/historical-travelogues

• 論文：NLP4DH 2024 論文

• 概要：近世・近代の日本語歴史的紀行文に場所参照表現をアノテーションしたデータ

地球の歩き方旅行記翻訳データセット（公開検討中）

• データ：TBA

• 論文：TBA

エンティティリンキング

日本語エンティティリンキング行政機関ウェブ文書コーパス CADEL

• データ：https://github.com/shigashiyama/cadel

• 論文：IPSJ-NL 論文

• 概要：日本語行政機関ウェブ文書テキストへの固有表現スパン・Wikidataエンティティリンク情報アノテーションデータ

英日対訳エンティティリンキングデータセット En-Ja-EL

• データ：https://github.com/shigashiyama/en-ja-el

• 論文：IPSJ-NL 論文（8.3節にて言及）

• 概要：英語エンティティリンキングデータセット（VoxEL、MEANTIME、Linked-DocRed）に対し、原文の MTPE によって作成した、固有表現スパン・知識ベースリンク情報アノテーションを含む英日対訳データ

テキスト正規化

JLexNorm: Corpora for Japanese Morphological Analysis and Lexical Normalization

• データ：https://github.com/shigashiyama/jlexnorm

• 論文：NAACL 2021 論文

• 概要：日本語ユーザ生成テキストへの形態素解析・単語正規化情報アノテーションデータ

単語分割・品詞付与

JCMS: A Japanese Corpus of Many Specialized Domains for Word Segmentation and POS Tagging

• データ：https://github.com/shigashiyama/jcms

• 論文：Eval4NLP 2022 論文

• 概要：27の専門分野テキストへの単語分割・品詞情報アノテーションデータ

対訳

JPO・WAT 対訳コーパス

• データ：https://alaginrc.nict.go.jp/jpo-outline.html（ALAGIN 会員のみ利用申請可）

• 論文：WMT 2024 論文

• 概要：Workshop on Asian Translation（WAT）の Patent Task で使用された特許対訳コーパス