(20090624) Yahoo! Hadoop 發行套件與應用

張貼日期:Nov 18, 2009 1:20:9 AM

2009-06-24 IThome

Hadoop已實際用於Yahoo!核心網路業務中,透過提供發行套件給Hadoop社群,Yahoo!希望加速該技術的創新發展。

事實上Yahoo!去年2月就宣佈全球最大的Hadoop應用實例,於2千台伺服器上安裝執行一萬個Hadoop虛擬機器,用以分散運算超過5PB的網頁內容,分析1兆個網路連結以建立索引資料,並壓縮索引資料庫至300TB。

目前Yahoo!已將Hadoop技術實際用於旗下Yahoo!搜尋工作上,例如比對同義字、熱門關鍵字分析等等,其他如電子郵件、內容、廣告等業務也運用Hadoop分散式運算技術,因應全球的龐大工作要求。