Language Resources & Software

対訳テキスト

JHPT：Japanese Historical Parallel Text Dataset（歴史的日本語資料対訳データセット）（公開準備中）

• データ：TBA（https://github.com/shigashiyama/jhpt にて公開予定）

• 論文：じんもんこん 2025 論文

WRIME-MT：日英・日中ソーシャルメディア対訳データセット （公開準備中）

• データ：TBA

• 論文：IPSJ-NL研 2025 論文

ATD-Para：旅行記翻訳データセット（公開準備中）

• データ：TBA

• 論文：NLP 2025 論文

JPO・WAT 対訳コーパス

• データ：https://alaginrc.nict.go.jp/jpo-outline.html（ALAGIN 会員のみ利用申請可）

• 論文：WMT 2024 論文

• 概要：Workshop on Asian Translation（WAT）の Patent Task で使用された特許対訳コーパス

場所参照表現抽出・ジオコーディング・ジオパージング

旅行記データセット・関連ツール

• • NAIST旅行記データセット

  • 日本語旅行記ジオパージングデータセット ATD-MCL

  • 日本語海外旅行記ジオパージングデータセット ATD-MCL-Overseas

  • 日本語旅行記移動軌跡抽出データセット ATD-VSO（公開準備中）

  • ATD-MCL-baselines

  • LUKE-NER

  • LUKE-Coref

日本語歴史的紀行文アノテーションデータセット JHistTravel

• データ：https://github.com/naist-nlp/historical-travelogues

• 論文：JNLP 2025 論文，NLP4DH 2024 論文

• 概要：近世・近代の日本語歴史的紀行文に場所参照表現をアノテーションしたデータ

エンティティリンキング

日本語エンティティリンキング行政機関ウェブ文書コーパス CADEL

• データ：https://github.com/shigashiyama/cadel

• 論文：IPSJ-NL研 2024 論文

• 概要：日本語行政機関ウェブ文書テキストへの固有表現スパン・Wikidataエンティティリンク情報アノテーションデータ

英日対訳エンティティリンキングデータセット En-Ja-EL

• データ：https://github.com/shigashiyama/en-ja-el

• 論文：IPSJ-NL研 2024 論文（8.3節にて言及）

• 概要：英語エンティティリンキングデータセット（VoxEL、MEANTIME、Linked-DocRed）に対し、原文の MTPE によって作成した、固有表現スパン・知識ベースリンク情報アノテーションを含む英日対訳データ

テキスト正規化

JMLN: Japanese Multi-Domain Lexical Normalization Dataset（公開準備中）

• データ：TBA（https://github.com/shigashiyama/jmln  にて公開予定）

• 論文：EMNLP 2025 (Findings) 論文

• 概要：多分野の日本語ユーザ生成テキストへの形態素解析・単語正規化情報アノテーションデータ．BQNC の929文を多分野に拡張し、21,402文に拡大．

JLexNorm-BQNC: Blog and Q&A site Normalization Corpus

• データ：https://github.com/shigashiyama/jlexnorm

• 論文：NAACL 2021 論文

• 概要：日本語ユーザ生成テキストへの形態素解析・単語正規化情報アノテーションデータ

単語分割・品詞付与

JCMS: A Japanese Corpus of Many Specialized Domains for Word Segmentation and POS Tagging

• データ：https://github.com/shigashiyama/jcms

• 論文：Eval4NLP 2022 論文

• 概要：27の専門分野テキストへの単語分割・品詞情報アノテーションデータ