任務定義

NTCIR-11 RITE-VAL中文項目分為兩大項

事實確認 (Fact Validation, FV)

系統將被給予一個文句 t2，並嘗試自中文維基百科中找尋可以推論出 t2 的文字片段，或找出與 t2 矛盾的文字片段。

若成功找出特定文字片段可以推論出 t2，則為真 (Entailment, E)，

若找出特定文字片段與 t2 矛盾，則為假 (Contradiction, C)，

除此之外則為未知 (Unknown, U)。

在 FV 子任務中，題目範例如下：

1. t2: 歐巴馬是美國的一位總統
2. 在維基百科「巴拉克·歐巴馬」詞條中，有文句說他是「第44任美國總統」，
3. 故本題判斷為真 (E)。
4. t2: 歐巴馬在1960年出生
5. 在維基百科「巴拉克·歐巴馬」詞條中，有文句說他出生於「1961年8月4日」，
6. 故本題判斷為假 (C)。
7. t2: 基特在1995年為大聯盟球員開球
8. 在中文維基百科中找不到1995年為大聯盟開球的人是誰，無法證實也無法反駁，
9. 故本題判斷為未知 (U)。

系統驗證 (System Validation, SV)

分為BC與MC兩部分。

BC: 系統將被給予兩個文句t1及t2，並嘗試直接判斷t1是否能推論出t2

• Y: 若t1能推論出t2，則為真；
• N: 否則為假。

MC: 系統將被給予兩個文句t1及t2，並嘗試直接判斷t1與t2間的語意關係，

• B: 若t1能推論出t2且t2能推論出t1，則為雙向推論。
• F: 若t1能推論出t2但t2無法推論出t1，則為單向推論。
• C: 若t1與t2相互牴觸，則為矛盾。
• I: 若t1無法推論出t2且t2無法推論出t1，則為獨立敘述。

在 SV 子任務中，題目範例如下：

1. t1: 歷史上沒有吉力馬札羅山火山噴發的記錄。
2. t2: 歷史上沒有吉力馬札羅山火山爆發的記錄。
3. 因為「火山噴發」與「火山爆發」同義，
4. 故本題在 BC subtask 判斷為真 (Y)、在 MC subtask 判斷為雙向推論 (B)。
5. (註：本題屬於 synonymy:lex 類型)
6. t1: 手語並不是世界共通的。
7. t2: 手語並不是亞洲共通的。
8. 雖然「世界」的範圍包含了「亞洲」，
9. 但世界不共通不代表在亞洲也不共通，
10. 故本題在 BC subtask 判斷為假 (N)、在 MC subtask 判斷為獨立敍述 (I)。
11. (註：本題屬於 spatial 類型)

本項子任務考慮多種判斷推論關係時可能使用的語言現象。

參酙 NTCIR-10 RITE2 日文任務 Unit Test 所訂出的現象列表，

這次也訂出為中文所設計的各種語言現象，

並為各種類型均以人工產生句對，做為建構及測試所用之資料集。

Formal testset 中僅含 (t1, t2) 句對，不會提供語言現象類型資訊。

使用於本次評比之中文語言現象包括：