1、大數(shù)據(jù)工具概覽昭遠 calio我是誰？微博：calio郵箱：vipcaliogithub:calio處理收集計算展現(xiàn)挖掘大數(shù)據(jù)處處理的一一般過程程抽取抓取索引查詢數(shù)據(jù)分析析搜索我們的產(chǎn)產(chǎn)品我們的做做法收集：網(wǎng)網(wǎng)頁埋點點+web server日志收集集處理：自自定義的的ETL腳本計算：hadoop+實時處理理引擎+mysql挖掘：自自定義的的hadoop任務(wù)展現(xiàn)：amcharts收集工具具收集工具具Needlebase從多種數(shù)數(shù)據(jù)源獲獲取數(shù)據(jù)據(jù)（網(wǎng)頁頁，xml，csv文件）合并，復(fù)復(fù)制和清清洗數(shù)據(jù)據(jù)生成自定定義視圖圖編寫代碼碼來自動動化抓取取公共網(wǎng)網(wǎng)站支持ruby，python，php社區(qū)特性性

2、：有很很多別人人寫好的的開放程程序處理工具具Hadoophttp:/GoogleMapReduce架構(gòu)的克克隆，最最初由Doug Cutting開發(fā)，Yahoo!是最大的的貢獻者者運行在跨跨機器的的集群上上巨大的相相關(guān)工具具生態(tài)圈圈計算工具具計算工具具開源的關(guān)關(guān)系型數(shù)數(shù)據(jù)庫管管理系統(tǒng)統(tǒng)成熟的系系統(tǒng)，相相關(guān)資料料較多在大數(shù)據(jù)據(jù)環(huán)境下下需要做做shardingHadoophttp:/GoogleMapReduce架構(gòu)的克克隆，最最初由Doug Cutting開發(fā)，Yahoo!是最大的的貢獻者者運行在跨跨機器的的集群上上巨大的相相關(guān)工具具生態(tài)圈圈開源版本本的GoogleBigTable底層使用用HD

3、FS存儲與hadoop完美結(jié)合合多客戶端端分布式式訪問hadoop數(shù)據(jù)倉庫庫系統(tǒng)使用SQL來編寫Hadoop任務(wù)延遲較高高，不能能替代實實時數(shù)據(jù)據(jù)庫展現(xiàn)工具具展現(xiàn)工具具圖形編程程語言積累了大大量的庫庫，示例例和文檔檔processing.js:processing的js實現(xiàn)d3.jsjavascript框架，前前身為Protovis包含了全全量的易易用可視視化組件件提供高層層次接口口FusionTables提供類似似電子表表格的在在線數(shù)據(jù)據(jù)存儲根據(jù)地理理信息可可視化數(shù)數(shù)據(jù)http:/數(shù)據(jù)挖掘掘工具數(shù)據(jù)挖掘掘工具Mahouthttp:/scikits.learnhttp:/stable/通用機器器學習算算法在海海量數(shù)據(jù)據(jù)之上運運行絕大部分分代碼是是基于Hadoop編寫的分分布式作作業(yè)內(nèi)嵌了很很多算法法來實現(xiàn)現(xiàn)通常的的任務(wù)，比如聚聚類、分分類、基基于用戶戶行為的的物品推推薦，識識別頻繁繁共現(xiàn)的的屬性python機器學習習工具標準機器器學習技技術(shù)的高高層接口口實驗和快快速原型型實現(xiàn)處理收集計算展現(xiàn)挖掘大數(shù)據(jù)處處理的一一般過程程抽