計(jì)算應(yīng)用學(xué)習(xí)流式01流式數(shù)據(jù)定義02流式計(jì)算概述目錄流式數(shù)據(jù)定義1流式數(shù)據(jù)定義

大數(shù)據(jù)環(huán)境下，流式數(shù)據(jù)作為一種新型的數(shù)據(jù)類型，是實(shí)時(shí)數(shù)據(jù)處理所面向的數(shù)據(jù)類型，其相關(guān)研究發(fā)展迅速。這種實(shí)時(shí)的流式數(shù)據(jù)，存在如下幾個(gè)特征：1.實(shí)時(shí)、高速：數(shù)據(jù)能以高并發(fā)的方式迅速到達(dá)，業(yè)務(wù)計(jì)算要求快速連續(xù)相應(yīng)。數(shù)據(jù)處理的速度至少能夠匹配數(shù)據(jù)到達(dá)的速度。2.無邊界：數(shù)據(jù)到達(dá)、處理和向后傳遞均是持續(xù)不斷的。3.瞬時(shí)性和有限持久性：通常情況下，原始數(shù)據(jù)在單遍掃描，處理后丟棄，并不進(jìn)行保存；只有計(jì)算結(jié)果和部分中間數(shù)據(jù)在有限時(shí)間內(nèi)被保存和向后傳遞。4.價(jià)值的時(shí)間偏倚性：隨著時(shí)間的流逝，數(shù)據(jù)中所蘊(yùn)含的知識(shí)價(jià)值往往也在衰減，也即流中數(shù)據(jù)項(xiàng)的重要程度是不同的，最近到達(dá)的數(shù)據(jù)往往比早先到達(dá)的數(shù)據(jù)更有價(jià)值。流式計(jì)算概述2流式計(jì)算概述在傳統(tǒng)的數(shù)據(jù)處理流程中，總是先收集數(shù)據(jù)，然后將數(shù)據(jù)放到數(shù)據(jù)庫中。當(dāng)人們需要的時(shí)候通過數(shù)據(jù)庫對(duì)數(shù)據(jù)做查詢，得到答案或進(jìn)行相關(guān)的處理。這樣看起來雖然非常合理，但是結(jié)果卻非常的緊湊，尤其是在一些實(shí)時(shí)搜索應(yīng)用環(huán)境中的某些具體問題，類似于MapReduce方式的離線處理并不能很好地解決問題。這就引出了一種新的數(shù)據(jù)計(jì)算結(jié)構(gòu)---流計(jì)算方式。它可以很好地對(duì)大規(guī)模流動(dòng)數(shù)據(jù)在不斷變化的運(yùn)動(dòng)過程中實(shí)時(shí)地進(jìn)行分析，捕捉到可能有用的信息，并把結(jié)果發(fā)送到下一計(jì)算節(jié)點(diǎn)。具體介紹流式實(shí)時(shí)計(jì)算。流式實(shí)時(shí)計(jì)算概述流式實(shí)時(shí)計(jì)算概述實(shí)時(shí)數(shù)據(jù)處理也稱實(shí)時(shí)計(jì)算或反應(yīng)計(jì)算。相應(yīng)地，針對(duì)流式數(shù)據(jù)的實(shí)時(shí)處理，稱為流式數(shù)據(jù)處理或流式計(jì)算。由定義可知，流式數(shù)據(jù)具有無邊界的特征，也即理論上是無窮的數(shù)據(jù)項(xiàng)序列。而流式實(shí)時(shí)計(jì)算只能使用有限的內(nèi)存資源，所以數(shù)據(jù)流的算法一定是某種程度對(duì)流的摘要化處理。摘要數(shù)據(jù)結(jié)構(gòu)和窗口都是最常用的摘要化技術(shù)。摘要數(shù)據(jù)結(jié)構(gòu)是任何比本身基礎(chǔ)數(shù)據(jù)集小得多的數(shù)據(jù)結(jié)構(gòu)：

1.可以駐留內(nèi)存，使得查詢及時(shí)響應(yīng)而避免訪問磁盤

2.遠(yuǎn)程傳輸?shù)拇鷥r(jià)小

3.對(duì)系統(tǒng)整體的空間開銷影響小

4.當(dāng)訪問基礎(chǔ)數(shù)據(jù)集的開銷過大時(shí)，可以作為基礎(chǔ)數(shù)據(jù)集的小規(guī)模代理被處理流式計(jì)算概述窗口技術(shù)是數(shù)據(jù)流研究中另一種常用的技術(shù)。由于數(shù)據(jù)流存在實(shí)時(shí)性的需求，流中最近到達(dá)的數(shù)據(jù)比很久之前到達(dá)的數(shù)據(jù)對(duì)計(jì)算來說更有意義。如何描述流中數(shù)據(jù)的“最近”，是窗口模型的意義所在。數(shù)據(jù)流的窗口是描述數(shù)據(jù)流的最近子集組合的方法。通過設(shè)置的窗口邊界，使得流中部分?jǐn)?shù)據(jù)項(xiàng)位于窗口內(nèi)，而在窗口之外數(shù)據(jù)則不被處理計(jì)算考慮。窗口長(zhǎng)度指窗口的時(shí)間跨度，窗口大小指窗口中數(shù)據(jù)項(xiàng)的數(shù)量。數(shù)據(jù)流處理技術(shù)可以為實(shí)時(shí)性要求高的應(yīng)用提供支撐，實(shí)現(xiàn)業(yè)務(wù)上的例行數(shù)據(jù)分析和異常監(jiān)控預(yù)警等。與傳統(tǒng)的數(shù)據(jù)處理技術(shù)相比，流式數(shù)據(jù)的實(shí)時(shí)計(jì)算存在以下幾個(gè)方面的特點(diǎn)：