NTCIR-11 RITE-VAL 是一個效能評鑑任務 (task),目的在評鑑系統自動偵測語句間「推論關係」的能力。 語句間的關係有很多種,比如說蘊涵 (entailment)、意譯 (paraphrase) 以及矛盾 (contradiction) 等。利用大型測試集來評估參與的系統,語言包括有日文以及中文 (繁體) ,每個語言都包含數個「子任務」 (subtask)。期待可藉由本任務能獲得新的知識,新的資源,使文本推論技術能更上層樓。
在 BC 子任務中,題目「文本對」的範例如下:
t1: 川端康成因其著名小說「雪國」獲得諾貝爾文學獎。
t2: 川端康成是「雪國」的作者。
系統的目標是能做出與人類相同的判斷,亦即當人類閱讀了前提 t1 及假設 t2 後,是否認為 t1 成立的情況下 t2 總也會成立。
本屆 RITE-VAL 有兩個子任務:
不少研究領域都有文本理解的需求,如資訊檢索、問答系統、自動摘要、意見分析等等。我們希望透過RITE這個通用的任務,在文本理解這個關鍵的議題上,匯集相關領域學者的研究能量。我們也非常歡迎其他自然語言處理領域以及機器學習學者一起來參與這場盛會。RITE是一個非對抗性的評鑑活動,非常歡迎任何具野心或探索性質但卻不一定成功的嘗試。您獨一無二的研究對這個研究社群來說絕對是不可或缺的重要貢獻。
請於 2014/1/20 前(日本時間),前往此網址註冊: http://research.nii.ac.jp/ntcir/ntcir-11/howto.html