1、志管理具分析1969年夏天的貝爾實(shí)驗(yàn)室，Ken 和Dennis那個(gè)舉動(dòng)引起的蝴蝶效應(yīng)是如此巨。他們催了偉開(kāi)源系統(tǒng)UNIX,此后各種開(kāi)源應(yīng)運(yùn)。志管理系統(tǒng)是開(kāi)源歷史偉的分。今天總有那些以開(kāi)源為名，做著違背開(kāi)源價(jià)值事情。整理遇到的開(kāi)源志管理軟件記錄下來(lái)，助家少踩坑。志是系統(tǒng)監(jiān)控和分析重要數(shù)據(jù)來(lái)源。部分軟件志是系統(tǒng)運(yùn)維和監(jiān)控的唯來(lái)源。那么，開(kāi)源軟件中有哪些提升志管理軟件和項(xiàng)哪些？有哪些重量級(jí)的產(chǎn)品哪？本會(huì)解決以上問(wèn)題。志包括系統(tǒng)志、應(yīng)程序志和安全志。每條志都記載著時(shí)間戳、主機(jī)名、使者及操作為等相關(guān)的描述，系統(tǒng)運(yùn)維和開(kāi)發(fā)員可以通過(guò)志了解服務(wù)器軟硬件信息、檢查配置過(guò)程中的錯(cuò)誤及錯(cuò)誤發(fā)的原因。經(jīng)常分析志可以

2、了解服務(wù)器的負(fù)荷，性能安全性，及時(shí)分析問(wèn)題、追查錯(cuò)誤根源。歷史發(fā)展上個(gè)有意思的志管理圖。 與2004年起來(lái)，2014年志統(tǒng)采集和管理幅提升了戶(hù)的好感度。那么，好感度從哪來(lái)哪？現(xiàn)在志管理有哪些構(gòu)成的哪？個(gè)成熟志管理系統(tǒng)于持運(yùn)維和系統(tǒng)診斷包括如下功能：戶(hù)管理 訪問(wèn)權(quán)限通知-告警-郵件配置管理志緩存數(shù)據(jù)庫(kù)管理志管理是志接、處理、存儲(chǔ)和可視化的過(guò)程。如志數(shù)據(jù)流程圖每個(gè)過(guò)程都涉及到些開(kāi)源軟件，下分別說(shuō)明。志管理數(shù)據(jù)流1.數(shù)據(jù)接數(shù)據(jù)接也是數(shù)據(jù)采集。采集源包括系統(tǒng)志、應(yīng)志、移動(dòng)App志等。采集是對(duì)志進(jìn)過(guò)濾、轉(zhuǎn)換、聚合、分析、路由、緩存過(guò)程，完成采集后結(jié)構(gòu)化志變成結(jié)構(gòu)化數(shù)據(jù)，于持久化和數(shù)據(jù)可視化，于持運(yùn)維和故

3、障診斷等。采集式分為：侵式志采集。它的優(yōu)點(diǎn)和缺點(diǎn)都很明顯。采集邏輯植到源代碼中，因?yàn)椴皇欠N普適的采集為。系統(tǒng)若屬于簡(jiǎn)單、單的服務(wù)系統(tǒng)，這是個(gè)選擇。采集邏輯根據(jù)業(yè)務(wù)定制化，后續(xù)志處理流程簡(jiǎn)化，和減少絡(luò)或磁盤(pán)IO。侵式采集。 從使場(chǎng)景和解決案都是更通。開(kāi)源志管理系統(tǒng)都是基于該案實(shí)施和部署。我們列舉的軟件都是和應(yīng)關(guān)。也就是使侵式采集。數(shù)據(jù)采集現(xiàn)今發(fā)展很蓬勃，下列舉熱門(mén)好的采集具。數(shù)據(jù)數(shù)據(jù)采集層logstash 是名的ELK三劍客之的L。態(tài)構(gòu)建常好，積累量戶(hù)，社區(qū)也常活躍，新特征和插件可選擇性很多。Filebeat 是logstash輕量級(jí)版本。雖孿，但是部署便、性能優(yōu)化、資源消耗少，且處理后的數(shù)據(jù)，

4、可以輸出到logstash。存儲(chǔ)層也可以是redis或者kafka。flume-ng 隨著流處理崛起，它還會(huì)更好。fluentd 采集層輸出格式化(json)數(shù)據(jù)，便于后續(xù)環(huán)境使，且保持了不錯(cuò)的性能。上述軟件滿了采集層的基本功能，僅列舉特功能。2.數(shù)據(jù)可視化BI具商業(yè)化的BI呈現(xiàn)和分析具在數(shù)據(jù)時(shí)代其道。在開(kāi)源領(lǐng)域也有股清流，為我們BI探索提供實(shí)化實(shí)踐機(jī)會(huì)。它是志管理系統(tǒng)和戶(hù)溝通的橋梁，當(dāng)前有哪些優(yōu)秀的開(kāi)源可視化具哪？整理出來(lái)可視化具對(duì)：可視化BI對(duì)圖superset apache的頂級(jí)開(kāi)源項(xiàng)，功能強(qiáng)的可視化具。隨處于孵化節(jié)點(diǎn)，依然吸引批粉絲。旦畢業(yè)后，可預(yù)見(jiàn)會(huì)常流。redash 社區(qū)版本功能依

5、然很強(qiáng)，企業(yè)商業(yè)會(huì)需要付費(fèi)。metabase 即使技術(shù)員也有很好的戶(hù)體驗(yàn)。kibana ELK三件套之。泛的應(yīng)場(chǎng)景。grafana 如果數(shù)據(jù)源是關(guān)系數(shù)據(jù)庫(kù)，grafana 是很好持場(chǎng)景。值得慶幸的是，量的開(kāi)源數(shù)據(jù)可視化具能夠從空間和表格中獲取到獨(dú)特?cái)?shù)據(jù)，并通過(guò)使級(jí)圖形和圖表向戶(hù)呈現(xiàn)信息。讓數(shù)據(jù)分析變得容易，戶(hù)更專(zhuān)注數(shù)據(jù)分析和挖掘?qū)印?.全功能志管理具上從數(shù)據(jù)采集和數(shù)據(jù)可視化2個(gè)度對(duì)開(kāi)源的具集合。構(gòu)建志管理系統(tǒng)需要選型，全功能志管理具幫助我們解決選項(xiàng)的難題。我們稱(chēng)它是志管理具界的泥流。讓我們看看都包括哪些？全功能志管理系統(tǒng)ELK 志管理任誰(shuí)也繞不過(guò)它。我們只需要根據(jù)需要，增加和修改部分組件就可以滿功能。flume-ng + kafka + storm 分布式存儲(chǔ)+ 實(shí)時(shí)性流處理 滿部分戶(hù)需求。skyEye 相對(duì)眾的全功能具。 持不