首頁 (繁體中文)

任務總論

NTCIR-11 RITE-VAL 是一個效能評鑑任務 (task)，目的在評鑑系統自動偵測語句間「推論關係」的能力。 語句間的關係有很多種，比如說蘊涵 (entailment)、意譯 (paraphrase) 以及矛盾 (contradiction) 等。利用大型測試集來評估參與的系統，語言包括有日文以及中文 (繁體) ，每個語言都包含數個「子任務」 (subtask)。期待可藉由本任務能獲得新的知識，新的資源，使文本推論技術能更上層樓。

在 BC 子任務中，題目「文本對」的範例如下：

t1: 川端康成因其著名小說「雪國」獲得諾貝爾文學獎。

t2: 川端康成是「雪國」的作者。

系統的目標是能做出與人類相同的判斷，亦即當人類閱讀了前提 t1 及假設 t2 後，是否認為 t1 成立的情況下 t2 總也會成立。

NTCIR-11 RITE-VAL 中文子任務

本屆 RITE-VAL 有兩個子任務：

• Fact Validation (Search): 給定一個句子 t2，系統從一個大型語料庫 (例如維基百科) 中找尋是否有相關文句可以推論出 t2。若有，則 t2 被判斷為 "事實" (fact)。(本子任務前身可參考 NTCIR-10 RITE2 任務中日文 Entrance Exam Subtask。)
• System Validation (Unit test): 系統判斷文句間是否具推論關係時，常需要引入各種不同現象的處理技術，然而各技術對於文本推論的個別影響不易研究。本子任務希望能提供一個實驗的環境，將各種推論所需處理現象獨立出來，研究各現象處理效能對整體效能的影響。

誰應該參加?

不少研究領域都有文本理解的需求，如資訊檢索、問答系統、自動摘要、意見分析等等。我們希望透過RITE這個通用的任務，在文本理解這個關鍵的議題上，匯集相關領域學者的研究能量。我們也非常歡迎其他自然語言處理領域以及機器學習學者一起來參與這場盛會。RITE是一個非對抗性的評鑑活動，非常歡迎任何具野心或探索性質但卻不一定成功的嘗試。您獨一無二的研究對這個研究社群來說絕對是不可或缺的重要貢獻。

註冊

請於 2014/1/20 前(日本時間)，前往此網址註冊: http://research.nii.ac.jp/ntcir/ntcir-11/howto.html

時程