(20090402)雅虎推開源Hadoop應用

張貼日期:Nov 18, 2009 1:47:45 AM

北京時間4月2日消息,據國外媒體報導,雅虎負責網格運算計劃的主管阿賈伊·阿內德(Ajay Anand)表示,公司已經開始借助開源框架Hadoop來處理公司的海量數據,其中包括發現垃圾郵件發送者。阿內德表示,雅虎郵件服務部門的研究人員已經開始使用Hadoop平台來發現發送垃圾郵件的殭屍網絡。而其它雅虎研究人員則已經實現通過網頁地圖(Webmap)進行協作。

除了分析日誌文件外,雅虎最初還希望能夠借助它創建更好的搜索索引,優化廣告投放,以及進行機器學習實驗等。

Hadoop框架具備了對海量數據進行挖掘的條件:支持大規模計算;基於普通硬件設備的高性價比;抗風險的可靠架構;以及能夠共享跨應用程序的計算資源。

全文:雅虎推開源Hadoop應用 可通過網頁地圖進行協作