附錄一:使用評估平台

25-0 概述

評估平台是你用來獲取和評定任務的系统。

你可以通過以下連結訪問這個評估平台

http://www.raterhub.com/evaluation/rater

作為一個搜尋品質評估員,你將從事許多不同類型的評級任務。本章節將指導您如何使用評估平台的某些功能,這些功能在頁面品質(PQ)和滿足需求(NM)評級任務中經常遇到。其中一些概念也可以適用在其他類型的評級任務。

重要提示:您將會收到許多任務,而這些任務會在頁面上顯示出要評級項目的具體說明。當這些項目提供特定說明時,你應該遵循這些說明。

26-0 獲取任務

以下是評估平台上任務獲取頁面的簡化截圖。請注意,這個頁面的外觀隨時會有變化,所以它可能與下面的外觀完全一樣。

關於如何從這個頁面獲取任務的一些說明

● rater@gmail.com:確保你已經登錄到你用來註冊憑藉計畫的帳戶。

● 如果有獲得權限:點擊這個按鈕這個来獲取一個新的任務。

● 需要耳機或揚聲器:這個標籤表示該任務需要耳機或揚聲器(例如,聽一個音檔文件)。

請注意,你可以在任務獲取頁面上的按鈕旁邊看到其他類型的標籤。有時候只會有一個按鈕,而其他時候你可能會看到一個以上的顯示按鈕,以區分具有不同任務的要求。當顯示不只一個時,你可以選擇要獲取的那個。


27-0 使用評級界面評定任務

以下是你獲得任務後應該遵循的步驟說明。

1. 閱讀說明:如果有提供任何訊息時,應密切注意任何項目的具體說明和例子。

2. 填寫任務:如果適用時,就請幫搜尋結果打分數,提供評論,回答問題等等。

3. 檢查你的工作:核實你是否有按計畫輸入你的評級,除此之外,確保你對所有要求的問題都有作出回答。

4. 提交任務:點擊頁面末端的 "提交 " 按鈕,提交任務後繼續評級。又或者點擊 "提交並停止評級",提交任務並返回評估平台首頁。

除此之外,在對任務進行評級時,要注意以下幾個注意事項。

● 搜尋結果區塊有時候會下載速度缓慢:在分配任何評級之前,請先掃描任務頁面,以確保所有搜尋结果區塊已經下載。請注意,搜尋结果區塊的下載速度可能會很慢,而且,如果有空的搜尋结果區塊,任務頁面可能需要重新下載。如果幾次更新後,搜尋结果區塊未能下載下來,請按照下文第28.0的说明來發布任務。

● 有時候會没有任何搜尋结果區塊。如果有顯示 "未產生生任何结果 "的訊息,請不要發布任務。

● 分派完評級後請不要更新任務頁面:如果你在分配評級後更新頁面,你將會失去評級,而必須重新輸入。


28-0 釋放任務

大多數評分者偶爾會對一些任務的評分產生困難。有些查詢是關於高技術性的主題(如計算機科學或物理學)或涉及非常專業的興趣領(如遊戲或種子檔案)。

你將使用評界面中的 "回報問題/發布此任務 "按鈕来報告問題和發布任務。下面是 "回報問題/發布任務 "按鈕的樣子。

點擊紅色按鈕會顯示一個幾個報告和發佈選項的選單。

請注意,這個選單有時候會有變化,所以它不可能完全是上面的樣子。

一般來說,你應該選擇最能說明你發佈任務原因的選項。如果你不確定,請選擇最接近的選項,或聯繫你的僱主/公司以獲得進一步的指導。


當提供額外的訊息是有意義的,例如,當你為了一個 "技術問題 "發佈時,請留下評論,解釋該發佈。

下面是關於一些 "缺乏專業知識 "和 "技術問題 "發佈選項的例子。

缺少專業知識:這些查詢需要專門的知識,對一些評分者來說可能是困難的。


技術問題:這些搜尋結果區塊在應該有文字的地方有問號和其他符號。

注意:根據你發佈任務的數量或類型,你可能會被要求提供關於一些發佈原因的額外細節。

29-0 理解任務頁面上的使用者位置

使用者的位置應該從提供的地圖中推斷出來。

該地圖可以幫助澄清使用者在發出搜尋時的實際位置。

在地圖上,使用者的位置是可以精確的(藍點),近一點時(藍色正方形或圓圈),或者如果消費者的位置則完全失去的未知情況。下面是一些你可能在任務頂部看到的例子


左上:一個精確的消費者位置是由一個藍色點()。

左下:消費者可以位於地圖上藍色正方形區域內的任何地方。

右上:有時候你會看到藍色點周圍有一個藍色的陰影圈,藍色點是使用者最可能的位置,但也有可能他們位於更大的藍色陰影區域内的任何一個地方。

右下:該地圖包括一個響應圖釘,該圖釘是任務中親自拜訪結果區塊的標記。 如果任務中有三個親自拜訪結果區塊,則地圖上應該有三個響應圖釘。

30-0 報告任務中重複的结果

在某些評級任务中,您可能被要求確定是否有任何重複的结果(dupes)。本節提供有關如何報告滿足需求(NM)評級任務的重複結果的指南和範例。

30-1 預先辨識的重複結果

一些重複的結果會被自動檢測出來,並為您預先辨識。它們會在滑塊下方和搜尋結果區塊上方以 "與......相同 "的文字標示出來。

這就是預先辨識的重複結果的樣子:


請注意:你不能取消對已經自動檢測和預先辨識的重複選擇。

30-2 評分者發現的重複結果

我們還要求您幫助辨識那些没有被自動檢測到的重複結果。

如果兩個结果在登錄頁面上具有基本相同的內容,並且你不希望搜索引擎為查詢這個兩個結果,請將它們標記為重複结果。

請注意,在滿足需求評級和其他基於搜尋的任務中,重複識別是取決於查詢的。

● 特定搜尋:對於使用者尋找的特定內容搜尋(例如:尋找歌詞的搜尋、尋找特定文章的搜尋等),從不同網站獲得該內容可能對使用者有所幫助的驗證訊息,因此它們不應該被評為重複內容。

● 廣泛搜尋:如果搜尋是廣泛的,那麼所顯示出來的內容不是使用者正在尋找的,因此這些結果應該被標記為重複。即使搜尋結果在頁面上有微小的內容差異(例如不同的廣告、圖片或相關連結),也可能被視為重複的。


請辨識同側和跨側的重複結果。即使對於交叉結果,您仍然應該問自己一個問題, 「如果兩個結果是由同一個搜索引擎所顯示出來的,用戶是否願意看到這兩個結果?

注意:如果兩個搜尋結果區塊具有非常不同的內容類型或非常不同的外觀,即使它們具有相同的登陸頁面網址,也不要將它們標記為重複。

例如:這兩個搜尋結果區塊標記為彼此重複。


30-3 回報重複性搜尋結果

當您在SERP中發現兩個以上的重複性搜尋結果時,請點最上方的重複性結果,您選擇的搜尋結果將以紅色區塊顯示。

接著您可以選擇與當前重複的結果,並使用右上方的[Dupe of... ]將其標記,該結果將以黃色區塊顯示。

您所完成的重複性搜尋結果(黃色區塊)檢查,也會同時以文字形式標記於最上方的重複性結果(紅色區塊)。

請在選取完所有重複性搜尋結果後,點選[finish selecting dupes],系統將回到原本的評分模式,連結名稱也將從[finish selecting dupes]變回[Select Dupes]。如果您還有發現其他重複性搜尋結果,也可以繼續使用系統進行回報。如果您對於所提交的回報有任何疑慮,也可以隨時修改所送出的回報。


重複性搜尋結果案例1

查詢 [如何選擇與安裝摩托車電池?]

URL1 連結

URL 2 連結

原因 : 因為這兩個搜尋結果顯示了同一篇文章,唯一的差別是文章周圍所顯示的廣告。(這篇文章也同時出現在網路上許多地方。)在搜尋結果足夠充分的情況下,提供這些重複性內容並不會對使用者帶來任何好處。


重複性搜尋結果案例2

查詢 [Jason castro] (一位創作歌手)

URL1 連結

URL 2 連結

原因 : 儘管兩個網址不同,但它們都抵達了同一個頁面。同時提供這兩個搜尋結果並不會對使用者帶來任何好處。



非重複性搜尋結果案例

查詢[material girl 歌詞]

URL1 連結

URL 2 連結

原因 : 儘管這兩個網址都提供了material girl的歌詞,使用者還是會希望兩個搜尋結果同時顯示,因為這讓他們可以驗證歌詞的正確性。


31-0 讓「Needs Met」任務變得更簡單

在一些「Needs Met」評分任務中,你不需要對所有的區域進行評分。

這些區域的評分表中「Needs Met」和「Page Quality」區域將呈現灰,並註無須評分。

下方圖片可以看到顯區塊的案例: