1、計(jì)劃類別 項(xiàng)目編號(hào) 項(xiàng)目技術(shù)報(bào)告課題名稱 項(xiàng)目主持人 承擔(dān)單位 題目：基于大數(shù)據(jù)分析的海量信息軟件系統(tǒng)設(shè)計(jì)與開發(fā)基于大數(shù)據(jù)分析前提下所開展的海量信息處理任務(wù)，在保障效率的同時(shí)更要確定準(zhǔn)確程度。在此基礎(chǔ)上本文重點(diǎn)分析了基于大數(shù)據(jù)環(huán)境下的海量信息軟件系統(tǒng)邏輯構(gòu)成，以及設(shè)計(jì)過程中的具體軟件、硬件結(jié)構(gòu)組成模式，為系統(tǒng)設(shè)計(jì)開發(fā)和任務(wù)進(jìn)行建立適合的環(huán)境，全面提升數(shù)據(jù)信息處理速度，實(shí)現(xiàn)大數(shù)據(jù)分析環(huán)境下更高效穩(wěn)定的功能。關(guān)鍵詞：大數(shù)據(jù)分析；海量信息；信息處理；軟件設(shè)計(jì)；系統(tǒng)構(gòu)建Abstract：Based on big data analysis，the information processing task

2、s should be more determined and accurate in the process of ensuring efficiency.On this basis，this article focuses on analyzing the logical construction of the mass information software system based on the big data environment，and the specific structure model of software and hardware in the process o

3、f design.The suitable environment is established for system design and development tasks.The system greatly raises the data information processing speed，and implements functions with better efficiency and stability in the big data analysis environment.Keywords：big data analysis；mass information；info

4、rmation processing；software design；system construction1 引言（Introduction）大數(shù)據(jù)分析是一種商業(yè)計(jì)算模式，其來源于分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算。Hadoop作為云計(jì)算的核心技術(shù)，目前在工業(yè)界得到了廣泛的應(yīng)用。Hadoop是Apache開源組織按照MapReduce的工作原理設(shè)計(jì)的一種開源的分布式處理框架，也是云計(jì)算環(huán)境下最著名的開源軟件。在Hadoop系統(tǒng)中，應(yīng)用程序可以并行運(yùn)行在由大規(guī)模廉價(jià)硬件構(gòu)成的分布式系統(tǒng)中。Hadoop在內(nèi)部實(shí)現(xiàn)了容錯(cuò)和擴(kuò)展機(jī)制，可以構(gòu)建成高可靠性和高擴(kuò)展性的分布式系統(tǒng)。在集群中運(yùn)行分布式應(yīng)用程序時(shí)

5、，MapReduce編程模型簡單易用。Hadoop提供的MapReduce編程模型是谷歌MapReduce的開源實(shí)現(xiàn)。在MapReduce編程模型中，開發(fā)者只需要編寫Map和Reduce函數(shù)，而任務(wù)調(diào)度、容錯(cuò)等機(jī)制由底層實(shí)現(xiàn)。因此，即使開發(fā)者沒有分布式系統(tǒng)的經(jīng)驗(yàn)也能編寫出高效的分布式應(yīng)用程序。下文將以此為例進(jìn)行重點(diǎn)論述。2 基于大數(shù)據(jù)環(huán)境下的海量信息軟件系統(tǒng)邏輯構(gòu)成（The logical construction of the massinformation software system based on the big dataenvironment）2.1 邏輯分層根據(jù)海量信息軟件的處

6、理需求，將大數(shù)據(jù)環(huán)境下的軟件信息傳輸劃分為三個(gè)層次，依次進(jìn)行邏輯數(shù)據(jù)劃分。首先對數(shù)據(jù)進(jìn)行分隔，使不同功能層數(shù)據(jù)在傳輸中通過分隔來達(dá)到相互獨(dú)立的狀態(tài)，避免數(shù)據(jù)之間產(chǎn)生干擾。分層后產(chǎn)生多個(gè)區(qū)域，在區(qū)域基礎(chǔ)上對相關(guān)的軟件控制程序進(jìn)行補(bǔ)充完善，從而達(dá)到最佳使用效果。針對運(yùn)行使用期間可能會(huì)產(chǎn)生的相關(guān)技術(shù)隱患問題，更應(yīng)該探討出控制方案，并在系統(tǒng)內(nèi)深入完善，了解系統(tǒng)對運(yùn)行環(huán)境的控制需求，以及現(xiàn)場可能會(huì)產(chǎn)生的相關(guān)隱患問題。邏輯分層與控制系統(tǒng)軟件分隔是相互聯(lián)系的，當(dāng)分隔軟件所傳輸?shù)臄?shù)據(jù)可以達(dá)到精準(zhǔn)度標(biāo)準(zhǔn)，海量信息處理任務(wù)也能高效完成1。進(jìn)行海量信息處理，需要同時(shí)進(jìn)行多項(xiàng)任務(wù)。進(jìn)行相互控制并觀察彼此之間的影響能力

7、，同時(shí)完成多項(xiàng)數(shù)據(jù)任務(wù)還需要在邏輯分層中體現(xiàn)出系統(tǒng)控制程序分層。根據(jù)所得到的處理信息進(jìn)行相關(guān)指令控制，從而達(dá)到最佳控制管理效果。最后是數(shù)據(jù)庫分層，用來與所處理的信息進(jìn)行對接，避免信息傳輸期間受到數(shù)據(jù)庫連接干擾影響。2.2 海量信息處理中的數(shù)據(jù)抽取基于大數(shù)據(jù)環(huán)境下所開展的海量信息處理，首先要針對數(shù)據(jù)進(jìn)行抽取，控制其中所存在的安全隱患，并結(jié)合技術(shù)性方法從更深層次探討需要完善的內(nèi)容。數(shù)據(jù)抽取需要在程序控制環(huán)境下來進(jìn)行，并觀察各項(xiàng)數(shù)據(jù)傳輸中所面臨的具體環(huán)境，通過系統(tǒng)程序加密控制來降低環(huán)境因素造成的干擾。數(shù)據(jù)抽取同樣是建立在大數(shù)據(jù)處理結(jié)構(gòu)基礎(chǔ)上，通過各個(gè)系統(tǒng)程序之間進(jìn)行相互控制。大數(shù)據(jù)分析系統(tǒng)結(jié)構(gòu)示意圖

8、如圖1所示。圖1中的信息抽取構(gòu)建模式，可以形成多種方案，并在現(xiàn)場建立起更適合的環(huán)境。關(guān)于設(shè)計(jì)期間可能會(huì)產(chǎn)生的相關(guān)問題，充分探討優(yōu)化解決方案，最終應(yīng)用效果也能得到明顯提升，通過結(jié)構(gòu)之間高效配合來實(shí)現(xiàn)最終的程序控制和信息方案提取。信息提取任務(wù)完成后，接下來的分析任務(wù)也能得到高效開展，并不會(huì)造成彼此之間的干擾影響。2.3 數(shù)據(jù)跟蹤定位大數(shù)據(jù)處理環(huán)境下信息獲取需要針對位置進(jìn)行定位，這樣才能發(fā)現(xiàn)其中是否存在影響數(shù)據(jù)運(yùn)行的相關(guān)因素，為技術(shù)性方案開展建立適合的環(huán)境。數(shù)據(jù)跟蹤定位后可確定數(shù)據(jù)信息獲取的主要部分，并在此基礎(chǔ)上進(jìn)行信息海量處理，在系統(tǒng)內(nèi)部同時(shí)完成多項(xiàng)信息處理任務(wù)，為最終的管理任務(wù)開展建立適合的環(huán)境

9、。系統(tǒng)運(yùn)行期間數(shù)據(jù)信息處理速度還會(huì)受到網(wǎng)絡(luò)環(huán)境的影響。利用大數(shù)據(jù)分析技術(shù)會(huì)結(jié)合網(wǎng)絡(luò)平臺(tái)來進(jìn)行，數(shù)據(jù)跟蹤期間能夠同時(shí)完成多項(xiàng)處理任務(wù)之間的對接。通過數(shù)據(jù)準(zhǔn)確跟蹤定位來提升海量信息處理的整體效率，從而達(dá)到最佳處理效果，并為各項(xiàng)管理控制計(jì)劃開展打下穩(wěn)定基礎(chǔ)。數(shù)據(jù)分析處理不僅僅體現(xiàn)在方案自身控制方面，更與平臺(tái)運(yùn)行穩(wěn)定性之間存在必然聯(lián)系，數(shù)據(jù)跟蹤定位可幫助快速判斷請求合法性，避免非法請求進(jìn)入到系統(tǒng)中，影響到最終的功能實(shí)現(xiàn)。endprint3 海量信息存儲(chǔ)處理軟件的綜合設(shè)計(jì)（Comprehensivedesign of the mass information storage andprocessing

10、software）3.1 文件系統(tǒng)設(shè)計(jì)中的節(jié)點(diǎn)選擇對于文件系統(tǒng)設(shè)計(jì)需要判斷節(jié)點(diǎn)選擇模式，觀察在系統(tǒng)中是否存在可能會(huì)影響到數(shù)據(jù)信息處理效率的因素。根據(jù)數(shù)據(jù)處理信息需求，將節(jié)點(diǎn)劃分成為數(shù)據(jù)節(jié)點(diǎn)、管理節(jié)點(diǎn)與監(jiān)控節(jié)點(diǎn)，可以根據(jù)數(shù)據(jù)信息處理方向以及使用需求來對內(nèi)部信息進(jìn)行選擇，從而達(dá)到最佳處理效果。系統(tǒng)設(shè)計(jì)中的節(jié)點(diǎn)選擇可幫助區(qū)分文件，對文件內(nèi)部所存儲(chǔ)的信息進(jìn)行高效識(shí)別處理，從而達(dá)到最佳處理控制效果。面對海量且分布的文件系統(tǒng)，首先針對其節(jié)點(diǎn)部分進(jìn)行設(shè)計(jì)構(gòu)建，基于節(jié)點(diǎn)基礎(chǔ)上實(shí)現(xiàn)對數(shù)據(jù)的來源識(shí)別以及處理對接，避免在最終控制能力上受到影響。為確保海量信息處理任務(wù)能夠安全穩(wěn)定實(shí)現(xiàn)，可以增加設(shè)計(jì)DataNode節(jié)點(diǎn)

11、，實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和查詢?nèi)蝿?wù)。處于網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)存儲(chǔ)以及傳輸均存在安全隱患，很容易受到黑客或病毒攻擊而出現(xiàn)損壞或丟失的現(xiàn)象，設(shè)計(jì)DataNode節(jié)點(diǎn)后相鄰區(qū)域的數(shù)據(jù)會(huì)共同參與到搜索中，從而實(shí)現(xiàn)數(shù)據(jù)節(jié)點(diǎn)更高效的反饋，最大程度提升數(shù)據(jù)處理反應(yīng)速度。3.2 文件存儲(chǔ)及副本設(shè)計(jì)文件存儲(chǔ)部分設(shè)計(jì)需要確定不同文件的主副本，對文件的查看以及數(shù)據(jù)存儲(chǔ)權(quán)限范圍進(jìn)行控制設(shè)計(jì)。文件存儲(chǔ)信息后搜索路徑也隨之得到確定，接下來進(jìn)行的副本讀取也要在此路徑內(nèi)進(jìn)行，避免出現(xiàn)信息獲取后的誤差問題。文件內(nèi)部數(shù)據(jù)信息存儲(chǔ)以及副本讀取需要遠(yuǎn)程控制功能來實(shí)現(xiàn)，在此基礎(chǔ)上重點(diǎn)探討提升優(yōu)化方案的有效措施，具體系統(tǒng)結(jié)構(gòu)模式如圖2所示。處于

12、信息讀取環(huán)境可能會(huì)產(chǎn)生的各項(xiàng)綜合處理模式，會(huì)直接將數(shù)據(jù)傳輸?shù)綄?yīng)的數(shù)據(jù)庫中，從而實(shí)現(xiàn)數(shù)據(jù)信息之間的轉(zhuǎn)變，為接下來所開展的各項(xiàng)數(shù)據(jù)信息建立穩(wěn)定的現(xiàn)場環(huán)境。圖2中顯示的內(nèi)容可以發(fā)現(xiàn)，這種安全隱患環(huán)境中可能會(huì)產(chǎn)生的問題，要綜合多方面因素來探討并探究。客戶端產(chǎn)生請求后通過服務(wù)器會(huì)傳導(dǎo)到相應(yīng)的文件模塊中，在此范圍內(nèi)進(jìn)行信息資源獲取。對于副本部分的讀取控制，需要對副本進(jìn)行結(jié)合文件夾的信息讀取控制，觀察其中所存在的問題，并在此基礎(chǔ)上充分探討優(yōu)化解決方案，全面提升綜合控制效果，完成副本與文件夾之間更穩(wěn)定的對接任務(wù)2。3.3 海量信息恢復(fù)系統(tǒng)設(shè)計(jì)處于大數(shù)據(jù)分析環(huán)境下，針對海量信息進(jìn)行存儲(chǔ)控制，一旦發(fā)生信息丟失問

13、題，將會(huì)影響到接下來的各項(xiàng)處理功能的實(shí)現(xiàn)。因此設(shè)計(jì)中的一項(xiàng)重點(diǎn)任務(wù)是針對軟件內(nèi)容進(jìn)行設(shè)計(jì)和開發(fā)，觀察系統(tǒng)構(gòu)建中需要繼續(xù)深入解決的內(nèi)容，并結(jié)合技術(shù)性方法來綜合解決，構(gòu)建恢復(fù)系統(tǒng)，建立數(shù)據(jù)庫記憶功能，能夠自動(dòng)或者根據(jù)操作者對軟件系統(tǒng)的使用需求來備份數(shù)據(jù)，并對其中的重要數(shù)據(jù)進(jìn)行自動(dòng)加密保存，當(dāng)使用期間受到網(wǎng)絡(luò)病毒攻擊出現(xiàn)數(shù)據(jù)丟失現(xiàn)象后，也能通過海量信息恢復(fù)系統(tǒng)來自動(dòng)完成恢復(fù)，確保文件信息正常使用功能不會(huì)受到影響。針對數(shù)據(jù)信息處理期間可能會(huì)產(chǎn)生的相關(guān)問題，更應(yīng)該探討出有效解決方案，結(jié)合內(nèi)部信息處理模式來進(jìn)行方案構(gòu)建3。建立數(shù)據(jù)信息處理自動(dòng)恢復(fù)模式，并在系統(tǒng)內(nèi)自動(dòng)完成備份處理任務(wù)，恢復(fù)系統(tǒng)設(shè)計(jì)期間還需要

14、考慮大數(shù)據(jù)處理環(huán)境下的存儲(chǔ)能力，避免在功能實(shí)現(xiàn)上出現(xiàn)干擾，并通過各個(gè)結(jié)構(gòu)之間的相互配合來綜合提升處理速度。大數(shù)據(jù)處理模式下的海量信息恢復(fù)系統(tǒng)結(jié)構(gòu)如圖3所示。3.4 目錄存儲(chǔ)與負(fù)載均衡設(shè)計(jì)海量信息處理不僅是針對文件夾內(nèi)部數(shù)據(jù)來進(jìn)行，其中更為重要的是對數(shù)據(jù)進(jìn)行均衡分析，對其內(nèi)部所包含的目錄進(jìn)行快速掃描記錄。目錄檢索完成后接下來進(jìn)行的內(nèi)部數(shù)據(jù)處理分析效率也更高，并且能夠根據(jù)所進(jìn)行的各項(xiàng)目錄掃描來完成負(fù)載數(shù)據(jù)的劃分，實(shí)現(xiàn)數(shù)據(jù)之間的對接4。負(fù)載均衡設(shè)計(jì)同樣需要建立在節(jié)點(diǎn)基礎(chǔ)上，以節(jié)點(diǎn)為分界衡量對象，實(shí)現(xiàn)目錄與其內(nèi)部文件之間的對接，并在此基礎(chǔ)上充分構(gòu)建適合數(shù)據(jù)分析處理的軟件，綜合提升目錄掃描處理效果。設(shè)計(jì)

15、訪問用戶的分區(qū)，直接進(jìn)行訪問請求與文件夾之間的對接，任務(wù)得到高效處理后，接下來的各項(xiàng)處理分析任務(wù)也能更加理想，建立起綜合聯(lián)系系統(tǒng)。根據(jù)不同IP用戶來進(jìn)行DNS分流設(shè)計(jì)，從而構(gòu)建出內(nèi)部控制體系，綜合提升海量數(shù)據(jù)信息存儲(chǔ)速度，并在達(dá)到處理對接速度標(biāo)準(zhǔn)的前提下降低誤差產(chǎn)生幾率，為構(gòu)建綜合指標(biāo)建立穩(wěn)定的現(xiàn)場環(huán)境。處于數(shù)據(jù)信息分析模式下的目錄存儲(chǔ)，更應(yīng)該體現(xiàn)出變化性，觀察是否在信息內(nèi)存在需要繼續(xù)強(qiáng)化完善的內(nèi)容，并建立起適合的現(xiàn)場環(huán)境，為管理任務(wù)進(jìn)行建立有效的環(huán)境5。目錄在檢索過程中自動(dòng)更新，也能夠避免在檢索內(nèi)容上受到影響，文件夾內(nèi)部信息處理效率也會(huì)得到明顯提升。4 大數(shù)據(jù)分析環(huán)境下的海量信息軟件系統(tǒng)開發(fā)

16、實(shí)現(xiàn)（Development and implementation of the massinformation software system in the big dataanalysis environment）4.1 腳本測試代碼構(gòu)建對于腳本測試過程中的代碼構(gòu)建和實(shí)現(xiàn)，更應(yīng)該體現(xiàn)出系統(tǒng)內(nèi)部程序控制。根據(jù)硬件結(jié)構(gòu)劃分模式來進(jìn)行軟件程序匯編，對海量數(shù)據(jù)軟件系統(tǒng)的功能腳本進(jìn)行檢驗(yàn)，觀察其功能實(shí)現(xiàn)是否可以達(dá)到預(yù)先設(shè)計(jì)的標(biāo)準(zhǔn)。Tomcat為腳本檢驗(yàn)代碼構(gòu)建的服務(wù)器載體，分析系統(tǒng)運(yùn)行使用中所面對的處理環(huán)境，以及信息內(nèi)部是否存在影響最終功能實(shí)現(xiàn)的因素，有關(guān)于設(shè)計(jì)期間比較常見的運(yùn)行功能實(shí)現(xiàn)檢驗(yàn)，同樣可

17、以在此服務(wù)器支持下來實(shí)現(xiàn)。采用Windows 10操作系統(tǒng)作為運(yùn)行載體，面對文件夾中的信息進(jìn)行處理檢索，對所設(shè)計(jì)構(gòu)建的方案可行性進(jìn)行檢驗(yàn)，有關(guān)于設(shè)計(jì)期間確定的重點(diǎn)功能，在此范圍內(nèi)更應(yīng)該體現(xiàn)出積極性，并深入觀察其中可能會(huì)造成隱患的因素，同樣采用規(guī)避措施解決5。代碼構(gòu)建需要借助SAT模型來實(shí)現(xiàn)，面對不同的文件夾更應(yīng)該體現(xiàn)出其中的功能差異性，從而避免數(shù)據(jù)傳輸出現(xiàn)彼此干擾的現(xiàn)象。endprint4.2 海量信息處理系統(tǒng)模擬確定海量信息軟件構(gòu)成模式后，為提升設(shè)計(jì)方案可行性，可以首先針對其中的設(shè)計(jì)方案進(jìn)行模擬，檢驗(yàn)所設(shè)計(jì)系統(tǒng)中存在的漏洞，并通過程序優(yōu)化設(shè)計(jì)的方法來統(tǒng)計(jì)漏洞數(shù)量和所在位置，從而通過程序設(shè)計(jì)來

18、將其優(yōu)化處理。確定一個(gè)模擬數(shù)據(jù)庫，其中的信息數(shù)量要達(dá)到標(biāo)準(zhǔn)，這樣接下來所開展的各項(xiàng)設(shè)計(jì)方案才不會(huì)因此受到影響。利用軟件來對模擬數(shù)據(jù)庫中所存儲(chǔ)的內(nèi)容進(jìn)行檢驗(yàn)，判斷是否在數(shù)據(jù)傳輸和存儲(chǔ)過程中出現(xiàn)過錯(cuò)誤情況。在檢驗(yàn)系統(tǒng)內(nèi)自動(dòng)記錄這部分錯(cuò)誤參數(shù)，有關(guān)于數(shù)據(jù)傳輸中受網(wǎng)絡(luò)病毒影響所受到的攻擊，更應(yīng)該體現(xiàn)出其中的深層次控制方案，實(shí)現(xiàn)控制方案與系統(tǒng)數(shù)據(jù)效率提升方面的相互連接，并構(gòu)建出更合理的設(shè)計(jì)模式。系統(tǒng)模擬中可以對文件夾安全程度進(jìn)行檢驗(yàn)，模擬黑客攻擊過程，體現(xiàn)出內(nèi)部控制，并構(gòu)建出合理的現(xiàn)場控制環(huán)境，了解軟件系統(tǒng)運(yùn)行中的風(fēng)險(xiǎn)類型后，接下來所開展的各項(xiàng)風(fēng)險(xiǎn)控制任務(wù)也能更高效完成6。通過設(shè)計(jì)方案強(qiáng)化的方法來幫助降低軟件系統(tǒng)運(yùn)行風(fēng)險(xiǎn)性，效率提升也更科學(xué)穩(wěn)定。5 結(jié)論（Conclusion）綜上所述