tachyononmesos數(shù)人科技張明鋒相關(guān)議題1.mesos2.tachyon3.tachyononmesosmesos是什么tachyon是什么>為什么要這樣做，解決了什么問(wèn)題>如何實(shí)現(xiàn)，實(shí)現(xiàn)中的評(píng)估>后續(xù)工作以及展望Mesos能做什么1，kernel提供資源分配和frameworks注冊(cè)和管理2，豐富的frameworks滿足各種定制化作業(yè)的需求long-job:marathoncron-job:chronosdatabase:casandra,hbase,mysqlframework3,通過(guò)driver形式原生支持KVM,物理機(jī)，docker等Mesos架構(gòu)1，通過(guò)master來(lái)實(shí)現(xiàn)framework注冊(cè)，資源分配2,通過(guò)slave來(lái)實(shí)現(xiàn)任務(wù)執(zhí)行mesos中文文檔：/Dataman-Cloud/Mesos-CN/blob/master/SUMMARY.mdMesos資源分配和任務(wù)執(zhí)行1,通過(guò)兩層scheduler來(lái)提供資源2,通過(guò)framework下發(fā)到mesosslave上的executor來(lái)執(zhí)行特定作業(yè)mesos中文文檔：/Dataman-Cloud/Mesos-CN/blob/master/SUMMARY.mdtachyon能做什么1,降低數(shù)據(jù)交互查詢的時(shí)間2，支持可插拔的數(shù)據(jù)管理策略熱數(shù)據(jù)導(dǎo)入內(nèi)存冷數(shù)據(jù)存入hdd,SATA3，內(nèi)存中數(shù)據(jù)不存在重復(fù)，并減少GC時(shí)間4，保證內(nèi)存中的數(shù)據(jù)安全當(dāng)job意外掛掉。tachyon架構(gòu)1，master負(fù)責(zé)工作流和worker管理2，worker針對(duì)上層作業(yè)和底層存儲(chǔ)實(shí)現(xiàn)相應(yīng)的功能為什么我們要做tachyononmesos現(xiàn)有的{spark,hadoop}onmesos大數(shù)據(jù)解決方案，仍然繼承了傳統(tǒng)大數(shù)據(jù)尤其是交互式數(shù)據(jù)處理中的多次數(shù)據(jù)提取的時(shí)間問(wèn)題和由于作業(yè)失敗而導(dǎo)致的數(shù)據(jù)丟失和重新提取問(wèn)題。SparkjobHadoopjobSparkSchedulerHadoopSchedulersparktask1Map-reduce{spark,hadoop}appmesosmasterhadooptask1hadooptask2sparktask2mesosslave分布式文件系統(tǒng)HDFSDFS為什么我們要做tachyononmesostachyon能夠很好的解決該問(wèn)題，但手動(dòng)搭建和維護(hù)成本非常之高而且不支持動(dòng)態(tài)擴(kuò)容和存在一定的資源浪費(fèi)SparkjobHadoopjobSparkSchedulerHadoopSchedulersparktask1Map-reduce{spark,hadoop}appmesosmasterhadooptask1hadooptask2sparktask2mesosslave分布式文件系統(tǒng)HDFSDFS內(nèi)存存儲(chǔ)層ta盯ch仗yo得n揀on恨m駁es洽os祖實(shí)現(xiàn)勝和考積量考量姥標(biāo)準(zhǔn)轉(zhuǎn)：1，勵(lì)更少堅(jiān)的人亂工干骨預(yù)和雞me驗(yàn)tr累ic首s監(jiān)撲控2，烘減寧少中霜間層箱的抽稠象，遠(yuǎn)更高部的資售源利畫(huà)用率fr工am滑ew熟or栽k借mo綠dema刷ra貓th斗on陰d杯ep是lo封y腳mo避deta逢ch采yo絕n夾fr額am毒ew錘or依kSme疼so警s槍sl翅av福eta戶ch竟yo戶n韻wo龍kr輪erme欲so戴s喇sl像av仁eta眉ch洗yo床n脂wo蘇kr豬erTTMa烏ra衣th而onme保so斑ssl霜av以eTh快ac沉hy欄onwo死rk爆sme惜so安ssl苗av鋤eTh死ac駛hy級(jí)onwo裂rk垮sme揮so傭ssl驅(qū)av樸eTh足ac牙hy宅onwo菜rk嗽s后續(xù)控工作有及展擔(dān)望1，缺開(kāi)源2，幅多租庸戶實(shí)批現(xiàn)3,添針對(duì)否多m唱as詞te籌r租統(tǒng)一郊使用慶zo垃ok桌e