1、大數(shù)據(jù)采集技術(shù)概述技術(shù)創(chuàng)新，變革未來智慧IT大數(shù)據(jù)中數(shù)據(jù)采集概念數(shù)據(jù)采集(DAQ)： 又稱數(shù)據(jù)獲取，是指從傳感器和其它待測設(shè)備等模擬和數(shù)字被測單元中自動及被動采集信息的過程。數(shù)據(jù)分類新一代數(shù)據(jù)體系中，將傳統(tǒng)數(shù)據(jù)體系中沒有考慮過的新數(shù)據(jù)源進(jìn)行歸納與分類，可將其分為線上行為數(shù)據(jù)與內(nèi)容數(shù)據(jù)兩大類。在大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)采集工作尤為重要。目前主流以實時采集、批量采集、ETL相關(guān)采集等大數(shù)據(jù)的主要來源數(shù)據(jù)線上行為數(shù)據(jù)：頁面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會話數(shù)據(jù)等。內(nèi)容數(shù)據(jù)：應(yīng)用日志、電子文檔、機器數(shù)據(jù)、語音數(shù)據(jù)、社交媒體數(shù)據(jù)等。大數(shù)據(jù)的主要來源：1）商業(yè)數(shù)據(jù)2）互聯(lián)網(wǎng)數(shù)據(jù)3）傳感器數(shù)據(jù)4）軟件埋點數(shù)據(jù)等數(shù)據(jù)源分

2、析數(shù)據(jù)、清洗數(shù)據(jù)時候。首先弄清除數(shù)據(jù)的來源。數(shù)據(jù)的所有來源是程序。比如：web程序、服務(wù)程序等。數(shù)據(jù)的形態(tài)兩種：日志文件、數(shù)據(jù)流。對比：由于數(shù)據(jù)流的接口要求比較高。比如有些語言不支持寫入kafka。隊列跨語言問題。所以日志文件是主要形態(tài)。數(shù)據(jù)流的用于實時分析較好。日志文件好處：便于分析、便于跨平臺、跨語言。調(diào)試代碼注意。常用的日志文件輸出工具log4j。寫程序時盡量別寫system.out?；ヂ?lián)網(wǎng)日志采集統(tǒng)計常見指標(biāo)1、UGC : User Generated Content，也就是用戶生成的內(nèi)容。2、UV:(unique visitor)，指訪問某個站點或點擊某條新聞的不同IP地址的人數(shù)?，F(xiàn)

3、已引申為各個維度的uv泛稱。3、PV：（pageview），即頁面瀏覽量，或點擊量。4、DAU : daily active user，日活躍用戶數(shù)量、MAU : 月活躍用戶量5、ARPU : Average Revenue Per User 即每用戶平均收入，用于衡量電信運營商和互聯(lián)網(wǎng)公司業(yè)務(wù)收入的指標(biāo)。6、新增用戶數(shù)、登錄用戶數(shù)、N日留存（率）、轉(zhuǎn)換率。服務(wù)器的請求日志nginx的access日志：log_format main $remote_addr - $remote_user $time_local $request $status $body_bytes_sent $http_r

4、eferer $http_user_agent $http_x_forwarded_for;舉例： - - 30/Dec/2015:11:51:00 +0800 GET /userList HTTP/1.1 200 21770 http:/localhost/index Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36 - - - 30/Dec/2015:11:51:00 +0800 GET /media/css/select

5、2_metro.css HTTP/1.1 200 15370 http:/localhost/userList Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36 -如果nginx感興趣：/resources/admin-guide/負(fù)載均衡。tomcat或者其它的web服務(wù)器的日志：根據(jù)業(yè)務(wù)情況介紹。提出一個問題：怎么統(tǒng)計UV、PV、登錄？讓web怎么打日志可以實現(xiàn)uv、pv、登錄的統(tǒng)計？傳統(tǒng)數(shù)據(jù)采集和大數(shù)據(jù)采集的區(qū)別傳統(tǒng)數(shù)據(jù)

6、采集1. 來源單一，數(shù)據(jù)量相對于大數(shù)據(jù)較小，甚至人工采集2. 結(jié)構(gòu)單一3. 關(guān)系數(shù)據(jù)庫和并行數(shù)據(jù)倉庫4. 其他一些靜態(tài)數(shù)據(jù)傳統(tǒng)采集方式的不足1、傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲、管理和分析數(shù)據(jù)量也相對較小，大多采用關(guān)系型數(shù)據(jù)庫和并行數(shù)據(jù)倉庫即可處理。對依靠并行計算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫技術(shù)追求高度一致性和容錯性。根據(jù)CAP理論，難以保證其可用性和擴展性。CAP相關(guān)連接：/blog/2018/07/cap.html2、采集時效性和規(guī)模較低大數(shù)據(jù)的數(shù)據(jù)采集特點1. 來源廣泛，數(shù)據(jù)量巨大2. 數(shù)據(jù)類型豐富，包括結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化3. 數(shù)據(jù)落地快，下游一般落地分布式數(shù)據(jù)庫4.

7、 時效性高，成熟的采集工具，實時采集大數(shù)據(jù)采集的方式 系統(tǒng)日志采集方法很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集。1、Flume，主流大數(shù)據(jù)采集框架，對接多種數(shù)據(jù)源，時效性高2、Logstash，ELK框架之一。經(jīng)常與ElasticSearch，Kibana配置，組成著名的ELK技術(shù)棧，非常適合用來做日志數(shù)據(jù)的采集及分析3、傳統(tǒng)數(shù)據(jù)庫巨頭Oracle的采集工具，OGG4、非工具性采集：網(wǎng)絡(luò)爬蟲，埋點日志、單一上傳、硬盤拷貝等等云計算下的采集方式 云計算下的采集方式特點：以阿里云日志服務(wù)為例30+采集方式，10+SDK支持PB級流量，百萬QPS彈性伸縮與開源主流軟件社區(qū)完美兼容完善監(jiān)控信息，管理百萬設(shè)備云計算-日志服務(wù)架構(gòu)云計算下采集服務(wù)的特點基于日志文件、無侵入式的收集日志只讀取文件。日志文件無侵入。安全、可靠支持文件輪轉(zhuǎn)不丟失數(shù)據(jù)。支持本地緩存。網(wǎng)絡(luò)異常重試。方便管理Web端操作?？梢?/p>