大數(shù)據(jù)分析解決方案大數(shù)據(jù)分析的三個(gè)技巧/cio/20130108日09：03CIO〔數(shù)據(jù)量大、種類多、處理速度快〕打算的，數(shù)據(jù)分析的角色和作用理所固然是由大數(shù)據(jù)的性質(zhì)打算的。當(dāng)數(shù)據(jù)分析作用于大數(shù)據(jù)時(shí)，大數(shù)據(jù)必需身兼數(shù)職。意思就是數(shù)據(jù)分析在一個(gè)組織中扮演著多種角色和擔(dān)負(fù)著多重責(zé)任。數(shù)據(jù)分析的職DJPatil和JeffHammerbacher制定的，他們?cè)噲D稱呼數(shù)據(jù)組的同事〔becauseimproperjobtitlelikebusinessanalystresearchscientistBuildingDataScienceTeams〕隨著大數(shù)據(jù)在驅(qū)動(dòng)企業(yè)成功中越來越有打算性作用，數(shù)據(jù)分析也變得越來越受歡送。這些大數(shù)據(jù)是很可信的。他們的腳步落后了——他們的眼光在大數(shù)據(jù)的利用上〔數(shù)據(jù)量大、種類多、處理速度快〕打算的，數(shù)據(jù)分析的角色和作用理所固然是由大數(shù)據(jù)的性質(zhì)打算的。當(dāng)數(shù)據(jù)分析作用于大數(shù)據(jù)時(shí)，大數(shù)據(jù)必需身兼數(shù)職。意思就是數(shù)據(jù)分析在一個(gè)組織中扮演著多種角色和擔(dān)負(fù)著多重責(zé)任。多種學(xué)問的把握為了解決數(shù)據(jù)量大的問題，大數(shù)據(jù)平臺(tái)〔例如：ApacheHadoop、LexisNexisHPPC〕要求數(shù)據(jù)是被1、了解大數(shù)據(jù)平臺(tái)的框架，例如：DFSMapReduce，他們的編程框架供給強(qiáng)大的應(yīng)用程序設(shè)計(jì)。這就意味著數(shù)據(jù)分析員還要有軟件構(gòu)筑和設(shè)計(jì)的力量。2的編程語言，例如：Java,Python,ECL,等等。3、具有嫻熟的數(shù)據(jù)庫學(xué)問，特別SQL語言的數(shù)據(jù)庫，像：HBase,CouchDB,等等。由于大數(shù)據(jù)平臺(tái)常常需要數(shù)據(jù)庫來存儲(chǔ)和轉(zhuǎn)換數(shù)據(jù)。4、具有數(shù)學(xué)/統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域的專業(yè)學(xué)問。一個(gè)企業(yè)的成功不是由數(shù)據(jù)量打算的，而是由能否成功的從大數(shù)據(jù)中覺察和抽取有用的學(xué)問模式和關(guān)系打算的，然后用這些有價(jià)值的信息〔例如：R,Excel,SPSSSAS〕是最好的，可以《TopAnalyticsbigdatasoftwaretools5、嫻熟應(yīng)用自然語言處理的軟件或工具。大數(shù)據(jù)的內(nèi)容大都來自于文本文件、聞、社交媒體和有效的演示數(shù)據(jù)存在的模式和關(guān)系，能應(yīng)用好數(shù)據(jù)可視化工具無疑是對(duì)數(shù)據(jù)分20化敏感、對(duì)覺察古怪，并且找出應(yīng)對(duì)問題的方法。他/她也要熱忱的準(zhǔn)時(shí)相看。對(duì)于企業(yè)來說有效的溝通是準(zhǔn)時(shí)采取行動(dòng)應(yīng)對(duì)大數(shù)據(jù)覺察的關(guān)鍵。數(shù)據(jù)證按時(shí)完成任務(wù)。第三，數(shù)據(jù)分析員應(yīng)當(dāng)具有說服力、激情、和演講力量。才能引導(dǎo)人們基于數(shù)據(jù)的覺察做出正確的打算，讓人們信任覺察的價(jià)值。數(shù)據(jù)了數(shù)據(jù)分析員該具備的技巧和他們?cè)谄髽I(yè)中扮演的角色。盤點(diǎn)大數(shù)據(jù)分析的十二大殺手锏分類：BIMapReduce2011-11-1913:12218人閱讀評(píng)論(0)保藏舉報(bào)當(dāng)數(shù)據(jù)以成百上千TB前所未有的挑戰(zhàn)。大數(shù)據(jù)分析迎來大時(shí)代全球各行各業(yè)的組織機(jī)構(gòu)已經(jīng)意識(shí)到，最準(zhǔn)確的商務(wù)決策來自于事實(shí)，而不是憑空臆想。這也就意味著，他們需要及網(wǎng)絡(luò)的各類評(píng)論，成為了海量信息的多種形式。極具挑戰(zhàn)性的是，傳統(tǒng)的數(shù)據(jù)庫TBNoSQL等平臺(tái)。大數(shù)據(jù)分析迎來大時(shí)代本文中，我們將向大家介紹迄今為止，包括EMCGreenplum、HadoopMapReduce等供給大數(shù)據(jù)分析VerticaIBM獨(dú)立的基于DB2Netezza的相關(guān)產(chǎn)品。固然，也有微軟的ParallelData、SAPSybaseSybaseIQ數(shù)據(jù)倉庫分析工具等。下面，1.EMCAppliance處理多種數(shù)據(jù)類型2010EMCGreenplum，EMC自身存儲(chǔ)硬Greenplum大規(guī)模并行處理〔MPP〕數(shù)據(jù)庫，推出EMCGreenplumDataComputingAppliance(DCASASMapR等DCAGreenplumEMCAppliance5月，EMCHadoopDCA將支持GreenplumSQL/Hadoop部署也能在同樣的設(shè)備上得到支持。借助Hadoop，EMC數(shù)據(jù)、非構(gòu)造數(shù)據(jù)等真正大數(shù)據(jù)分析的困難。模塊化的DCA也能夠在同樣的設(shè)備上支持長期保存的高容量的存儲(chǔ)模塊，從而滿足監(jiān)測需求。2.Hadoop和MapReduceHadoop要面對(duì)存儲(chǔ)和處理構(gòu)造化、半構(gòu)造化或非構(gòu)造化、真正意義上的大數(shù)據(jù)〔通常TB甚至PB級(jí)別數(shù)據(jù)〕應(yīng)用。網(wǎng)絡(luò)點(diǎn)擊和社交媒體分析應(yīng)用，正在〕是處理大數(shù)據(jù)集抱負(fù)解決方案。MapReduce能將大數(shù)據(jù)問題分解成多個(gè)子問題，將它們安排到成百上千個(gè)處理節(jié)點(diǎn)之上，然后將結(jié)果集合到一個(gè)小數(shù)據(jù)集當(dāng)中，從而更簡潔分析得出最終的結(jié)果。MapReduce構(gòu)造圖Hadoop可以運(yùn)行在低本錢的硬件產(chǎn)品之上，通過擴(kuò)展可以成為商業(yè)存儲(chǔ)和數(shù)據(jù)分析的替代方案。它已經(jīng)成Twitter和Netflix大數(shù)據(jù)分析的主要解決方案。也有更多傳統(tǒng)的巨頭公司比方摩根大通銀行，也正在考慮承受這一解決方案。3.惠普Vertica電子商務(wù)分析今年二月被惠普收購的Vertica，是能供給高效數(shù)據(jù)存儲(chǔ)和快速查詢的列存儲(chǔ)數(shù)據(jù)庫實(shí)時(shí)分析平臺(tái)。相比傳統(tǒng)的關(guān)系數(shù)據(jù)庫，更低的維護(hù)和運(yùn)營本錢，〔MPPx86HPVerticaMPP的擴(kuò)展性〔AOLTwitterGroupon〕VerticaHadoop產(chǎn)品平臺(tái)之一。目前，Vertica支持惠普的云效勞自動(dòng)化解決方案。4.IBM供給運(yùn)維和分析數(shù)據(jù)倉庫去年，IBMDB2SmartAnalyticSystem〔圖中左側(cè)NetezzaSmartDB2CognosBI軟件模塊，IBMPowerSyste〔RISCX86架構(gòu)上運(yùn)行。SmartAnalyticSystem及NetezzaNetezzaTB甚PB級(jí)別數(shù)據(jù)的公司，供給高可擴(kuò)展分析應(yīng)用的解決方案。IBM的NetezzaTwinFinNetezza支持多種語言和方式進(jìn)展數(shù)據(jù)庫分析，其中包括JavaCC+PythonMapReduceSAS，IBMSPSS使用的矩陣操作方法和R5.Infobright削減DBA工作量和查詢時(shí)間Infobright列存儲(chǔ)數(shù)據(jù)庫，旨在為數(shù)十TB骨文和微軟SQLServerInfoBrightMySQL的效勞進(jìn)展設(shè)計(jì)。列存儲(chǔ)數(shù)據(jù)庫能夠自動(dòng)創(chuàng)立索引，而且無需進(jìn)展數(shù)據(jù)分區(qū)和DBA調(diào)整。相比傳統(tǒng)數(shù)據(jù)庫，它可以削減90%的人工工作量，而且由于其承受高數(shù)據(jù)壓縮，在數(shù)據(jù)庫許可和存儲(chǔ)等方面的開支也可以削減一半。KnowledgeGrid查詢引擎InfoBright最的4.0版本產(chǎn)品，增了一個(gè)DomainExpertURL相關(guān)的數(shù)據(jù)。KowledgeGrid查詢引擎則可以幫助過濾那些靜態(tài)數(shù)據(jù)而只關(guān)注那些變化的數(shù)據(jù)。也就是說，它可以幫助節(jié)約數(shù)據(jù)查詢的時(shí)間，因?yàn)槟切o關(guān)的數(shù)據(jù)無需進(jìn)展解壓縮和篩選。6.Kognitio供給三倍速度和虛擬多維數(shù)據(jù)集Kognitio和每個(gè)模塊48個(gè)運(yùn)算核心供給大容量存儲(chǔ)效勞。電信或金融效勞公司，可以使用這種配置來掃描大量的分支構(gòu)造的各種信息記錄。Rivers供給了容量和速48個(gè)運(yùn)算核心。Rapids，961.5TB。該產(chǎn)品方案主要針對(duì)金融公司在算法交易或者其他高性能要求方面的需Kognitio基于內(nèi)存運(yùn)算的數(shù)據(jù)倉庫和數(shù)據(jù)分析今年，Kognitio增了OLAP風(fēng)格的Pablo分析引擎。它供給了敏捷的、為企業(yè)用戶進(jìn)展MicrosoftExcel。7.SQLServerPDWSQLServerR2ParallelDataWarehouse〔PDW，并行數(shù)據(jù)倉庫，一改以往SQLServer部署時(shí)間需要花費(fèi)兩年半時(shí)間的歷史，它可以幫助客戶擴(kuò)TB級(jí)別數(shù)據(jù)的分析解決方案。支持這一產(chǎn)品的包括有合作伙伴惠普的硬件平臺(tái)。公布之初，雖然微軟官網(wǎng)供給有讓利折扣，但PDW售價(jià)仍超過在肯定程度上說，數(shù)據(jù)倉庫分析和內(nèi)存分析計(jì)算市場落下了后腿。目前，微軟ReportingAnalysisServices，SQLServer數(shù)據(jù)庫。微軟在1012ApacheHadoopSQLAzureHadoop效勞，Azure2011年底亮相，而相應(yīng)的本地配套軟關(guān)大數(shù)據(jù)設(shè)備廠商合作。8.EngineeredSystems的故事甲骨文表20081000engineeredsystem11g數(shù)據(jù)庫，可以支持基于X86可以實(shí)現(xiàn)超快速查詢處理。它既可應(yīng)用在任意事務(wù)環(huán)境中，也可以應(yīng)用在數(shù)據(jù)倉庫〔但不能同時(shí)進(jìn)展。Exadata合柱狀壓縮能夠?qū)崿F(xiàn)列存儲(chǔ)數(shù)據(jù)庫的某些高10:14:9OracleSuperCluster〔圖中右側(cè)，擴(kuò)展了engineeredsystemsSunSparcT-4SuperCluster/半機(jī)架配置，而且用戶可以在半機(jī)架容量根底上進(jìn)展1200CPU線程，4TB97TB198TB磁盤8.66TBSuperCluster事務(wù)處理和數(shù)據(jù)倉庫性能相比傳統(tǒng)效勞器架構(gòu)能分別帶來10和50倍速度提升。UnixSuperClusterx86硬件的數(shù)據(jù)倉庫部署遷移大潮中力挽狂瀾。甲骨文的Exadata和Exalogic都基于x86LinuxOracleOpenWorld中，甲骨文宣布pacheHadoop軟件和相關(guān)的大數(shù)據(jù)設(shè)備。甲骨文也打算推BerkeleyDBNoSQL。9.ParAccel開發(fā)廠商——供給快速、選擇性查詢和列存儲(chǔ)數(shù)據(jù)庫，并基于大規(guī)模并行處理優(yōu)勢特點(diǎn)的產(chǎn)品。該公式表示，其平臺(tái)支持一系列針對(duì)各種簡單、先進(jìn)應(yīng)用的工作負(fù)載報(bào)告和分析。ParAccel大數(shù)據(jù)解決方案內(nèi)置的分析算法可以為分析師供給高級(jí)數(shù)學(xué)運(yùn)算、數(shù)據(jù)統(tǒng)計(jì)、和數(shù)據(jù)挖掘等各種功能，同時(shí)，它還供給一API，可以擴(kuò)展數(shù)據(jù)庫的各種數(shù)據(jù)處理力量和第三方分析應(yīng)用。TablefunctionsC、C++等編寫的定制算法的數(shù)據(jù)結(jié)ParAccelFuzzyLogix——一家供給各種描述統(tǒng)計(jì)學(xué)、統(tǒng)計(jì)試驗(yàn)?zāi)M和