Embedded Files
Introduction
Introduction
了解消費者對商業發展是很重要的，而其中的review 分析可以有效提升其服務品質，並且有效的去了解消費者的需求。
希望運用review當中去探尋找出規則，訓練一個模型了解預測消費者所想
Review analysis
Review analysis
把Review中的特有元素擷取出來，其中元素有
- Aspect term:
- Opinion term :
- Aspect-Opinion Pair(Co-Extraction)
假設今天拿到一句評論: 這台Jet-125 (Aspect)是壞掉的(Opinion) 擷取出來[ Jet-125 ,壞掉]( Aspect-Opinion Pair)
Open-Domain
因為並不是每個領域的資料都是齊全的，而open-domain-task就是在找幫助我們在增大訓練，並且找尋到類似相似的語句加入訓練數據，可以跨領域，並且不需人工標記。Open-Domain
論文使用Rule-base 人工設定一個高品質的規則，並可應用在多個領域中(wide range)。
Span
Aspect & Opinion 所在的開始與結束的地方我們稱為 Span，也是我們在訓練時需要要讓機器要開始與結束學習的地方。Span
此處為Aspect 開始與結束的地方
Method
Method
Model Description
Model Description
Encoder:
Provide rich semantic, syntactic, and context-sensitive information for each token in the input review.(We use bert base encoder for our model)
Framework:
Build four independent encoders to tackle the tasks of 𝐴𝑇𝐸, 𝑂𝑇𝐸, 𝑂𝑆𝐴𝐸, and 𝐴𝑆𝑂E(下方會細節進行講解)
模型流程:
今天我們獲得一個未標記的相關資料(1) Corpus
把文本丟入弱標籤生成器(2)
今天弱標籤生成器幫助我們生成了ATE,OTE,OSAE,ASOE 獨立的標記資料，並且獨立的訓練4 個單一模型(3-6)
確保訓練與學習之間的相關性是高的，同時也要避免過度擬合，當今天過度擬合的時候我們就可提早停止模型訓練(7)
今天在完成訓練好且正確的模型加回訓練資料集去增大資料，達到自我訓練之目的。(8)
Weak label(Open-Domain)
Weak label(Open-Domain)
Generated training data without human annotations by rules-based on universal dependency parsing
This rule states that noun word (𝑁𝑁) is aspect term and adjective word (𝐽𝐽) is an opinion term
The rule can only label small portion of data(25.68% of data) but high precision of it
Aspect and Opinion Term Span Extraction
Aspect and Opinion Term Span Extraction
今天我們拿到一個一句評論H，放入PLM模型後會獲的文字的表達式。
那今天我們要做的FINE TUNE 任務就是把這個PLM的表達法結合我們獲得標記到的Aspect給機器去學習 ，並且獲得獲得一個線性model的yi。
Y start 與Y end 的Span，而這個就是Aspect 跟 Opinion 可能出現的地方，當今天只要span的機率大於0的就把標記為1，其中距離Y start 而其最近的Y end 的我們可以確認他們是一組的。
Aspect-Opinion Pair Extraction
Aspect-Opinion Pair Extraction
pair 較為上方單獨擷取Aspect 或是Opinion 更複雜的多，因為一個Aspect 可以對到0到多個Opinion，而因應所有的場合，我們AOPE 切分成為ASOE( Aspect Spcified Opioin Span Extraction) 跟OSAE(Opinion Spcified Aspcet Span Extraction)兩個子任務。
主要是確認這個Aspect 與這個Opinion是一定有關係的，讓模型學習起來使有意義的。
Aspect Spcified Opioin Span Extraction
當我們今天拿到一個預測來自Aspect 模型並且把這個Span 放到review R前面，而今天如果沒有Aspect 的時候，A為空集合。
Opinion Spcified Aspcet Span Extraction
當我們今天拿到一個預測來自Opinion 模型並且把這個Span 放到review R前面，而今天如果沒有Opinion 的時候，O為空集合。
Loss Function
Loss Function
本篇使用的Binary Cross-entropy (BEC) ，去希望預測的span與標記的span 之間的loss 越低越好。
之後就是把4 個模型都計算一次loss之後去加總獲得整體的loss
Early Stopping
Early Stopping
目標:
目標:
在學習沒有真實標記的資料時，是很難去調整並且知道學習結果是否是好的，所以在這邊我們引進了提早停止，來避免學習到不必要的資料雜訊，同時避免過度擬合問題。
當今天學習到相關係數接近的pair時我們必須去停止。
作法:
作法:
Canonical correlation analys 這個作法是學習到兩個特徵值，模型ATE以及OSAE模型之間的相關係數可以達到最高。
計算出ATE的correlation matrix 獲得 ATE 特徵數值 U
計算OSAE的correlation matrix 獲得OSAE 的特徵數 V
求模型之間的相關係數獲得p1
4. 計算出OTE的correlation matrix 獲得 OTE特徵數
5. 計算ASOE的correlation matrix 獲得ASOE 的特徵數 V
6. 求模型之間的相關係數獲得p2
7. 使用 following observations 的方法，與當前比較比找出最大值就提早停止。
我們可以發現大部分情況 都會在5-6疊代後停止
Self -Training
Self -Training
因為 weakly label 只能生成小樣本，這樣訓練樣本會有點少，所以我們在這邊加入了，自我訓練把正確的資料又重新加回模型，可以有效增大訓練資料集。
A-B or B-A 代表模型倆倆之間的差異性，這邊我們必須確保模型之間的差異性為0，因為代標4 個模型指標都是預測一樣的結果才可以加回模型。
Experiment
Experiment
Datasets: SemEval14~16
Datasets: SemEval14~16
The current state of the arts semantic analysis and annotated datasets
其中資料集內部又可以分為有包含pair 的資料以及只有個體的資料
Baseline
Baseline
可以發現使用的方法都是優於目前學界所有的方法
本篇與業界使用方法這邊為大家講解
Gold Annotation(Supervised) Gold standard annotated corpora
None (Unsupervised)
Sample Annotation (few-shot)
Dictionary:字典法則
Rule Design
Conclusion
Conclusion
Aspect-opinion co-extraction and pair extraction tasks show that ODAO can achieve competitive or even better performance.
ODAO can handle the noise and bias of the weak supervision.
The double-layer design’s effectiveness.
本篇在探討open domain 的相關可行性
Page updated
Google Sites
Report abuse