Apriori算法在基于數(shù)據(jù)挖掘的電子商務(wù)應(yīng)用中的改進(jìn)與實現(xiàn)摘要：隨著電子商務(wù)的迅速發(fā)展，業(yè)務(wù)流量迅速增加。傳統(tǒng)的技術(shù)和基礎(chǔ)設(shè)施，難以滿足日益增長的數(shù)據(jù)管理和合理利用。電子商務(wù)企業(yè)克服困難，利用數(shù)據(jù)挖掘工具中的隱式規(guī)則算法在數(shù)據(jù)挖掘中尋找機(jī)會。研究了一種采用數(shù)據(jù)挖掘算法的推薦系統(tǒng)，是對關(guān)聯(lián)規(guī)則技術(shù)Apriori算法的最經(jīng)典改進(jìn)。實驗結(jié)果表明，改進(jìn)的Apriori算法效率得到了提高，支持的處理時間越小越明顯。關(guān)鍵詞:數(shù)據(jù)挖掘;先驗的算法;電子商務(wù)1．引言隨著科學(xué)技術(shù)的發(fā)展，計算機(jī)網(wǎng)絡(luò)技術(shù)飛速發(fā)展。目前，計算機(jī)網(wǎng)絡(luò)已經(jīng)成為我們生活中不可或缺的現(xiàn)代信息技術(shù)，在一定程度上促進(jìn)了電子商務(wù)的不斷發(fā)展。電子商務(wù)的發(fā)展也不斷地提高了電子商務(wù)系統(tǒng)中高并發(fā)性和海量數(shù)據(jù)訪問的要求。隨著用戶對電子商務(wù)系統(tǒng)的不斷識別，其業(yè)務(wù)業(yè)務(wù)量也在快速增長。面對商業(yè)交易的爆炸性增長，傳統(tǒng)的基礎(chǔ)設(shè)施已經(jīng)難以管理日益增長的數(shù)據(jù)，這在一定程度上影響了電子商務(wù)的發(fā)展。如果將基于云計算的大數(shù)據(jù)處理技術(shù)引入電子商務(wù)，其特殊的技術(shù)優(yōu)勢會對電子商務(wù)產(chǎn)生一定的影響，進(jìn)而促進(jìn)其可持續(xù)發(fā)展。2．電子商務(wù)與大數(shù)據(jù)處理電子商務(wù)的定義是指交易活動和相關(guān)服務(wù)活動的電子交易在互聯(lián)網(wǎng),內(nèi)聯(lián)網(wǎng)和VAN,增值網(wǎng)絡(luò),也就是說,傳統(tǒng)商業(yè)的電氣化和網(wǎng)絡(luò)業(yè)務(wù)的各個環(huán)節(jié)。首先，電子商務(wù)分為廣義電子商務(wù)和狹義電子商務(wù)。廣義電子商務(wù)的定義是指利用各種電子工具進(jìn)行的商業(yè)活動，狹義電子商務(wù)的定義是指利用互聯(lián)網(wǎng)進(jìn)行的商業(yè)活動。無論是廣義電子商務(wù)的概念還是狹義電子商務(wù)的概念，電子商務(wù)都包含兩個方面:電子商務(wù)離不開互聯(lián)網(wǎng)。如果它離開了互聯(lián)網(wǎng)，那它就不是電子商務(wù)。2。它是利用互聯(lián)網(wǎng)進(jìn)行的一種商業(yè)活動。狹義來說,電子商務(wù)是商業(yè)貿(mào)易活動在全球范圍內(nèi)使用互聯(lián)網(wǎng)和其它電子工具,包括電報、電話、廣播、電視、傳真、計算機(jī)、計算機(jī)網(wǎng)絡(luò)、移動通信和其他人,也就是說,所有商業(yè)活動的基礎(chǔ)上,計算機(jī)網(wǎng)絡(luò),包括相關(guān)的每一個行為的總和,如商品和服務(wù)的供應(yīng)商,廣告商,消費者和中間商。人們所理解的電子商務(wù)是指狹義的電子商務(wù)。隨著商業(yè)交易的發(fā)展，電子商務(wù)的數(shù)據(jù)規(guī)模和數(shù)量不斷增加，使得電子商務(wù)系統(tǒng)在一定程度上出現(xiàn)了較大的變化。面對龐大的數(shù)據(jù)庫規(guī)模，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)不能滿足大數(shù)據(jù)處理的要求。大數(shù)據(jù)處理技術(shù)以其高容錯性、低成本、高擴(kuò)展性等優(yōu)點成為電子商務(wù)系統(tǒng)中最流行的數(shù)據(jù)處理技術(shù)。3．大數(shù)據(jù)處理對電子商務(wù)的影響與分析(1)強(qiáng)大的信息檢索功能商品的豐富性直接影響到電子商務(wù)的競爭力，而商品的海量、復(fù)雜的分類系統(tǒng)、復(fù)雜的、非結(jié)構(gòu)化的商品屬性數(shù)據(jù)等要求IT基礎(chǔ)設(shè)施具有足夠的靈活性和強(qiáng)大的檢索能力。云平臺框架提供的超大規(guī)模計算能力和大數(shù)據(jù)處理能力可以提供強(qiáng)大的個性化信息檢索功能，即根據(jù)用戶的個體差異、個人興趣和需求特征進(jìn)行智能海量信息檢索。此外，該函數(shù)可以高效地返回高查全率和高查準(zhǔn)率的檢索結(jié)果。它還可以實現(xiàn)信息推送服務(wù)、熱點信息推送、信息推薦等新型信息檢索服務(wù)。云計算的技術(shù)優(yōu)勢可以使信息檢索和服務(wù)解決長期存在的人類自然語言理解和知識推理問題。充分利用的深度數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的功能可以準(zhǔn)確、快速分析處理用戶的信息行為,理解用戶的自然語言表達(dá)式并進(jìn)行相應(yīng)的智能檢索,信息和產(chǎn)品符合用戶的需求。提高用戶服務(wù)的速度和精度，最大限度地提高用戶的滿意度。強(qiáng)大的信息檢索功能和云計算技術(shù)優(yōu)勢中的服務(wù)功能可以解決長期存在的人類自然語言理解和知識推理問題。充分利用深度數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的功能，快速準(zhǔn)確地分析客戶信息，理解客戶語言，檢索客戶需求的數(shù)據(jù)信息，提高服務(wù)的精度和速度。通過這種方式，客戶可以快速獲取所需的信息，但所有這些工作都只能在靜態(tài)網(wǎng)絡(luò)環(huán)境中構(gòu)建的數(shù)據(jù)庫網(wǎng)絡(luò)系統(tǒng)中完成，使得它只能適應(yīng)特定的字段，不能很好地適應(yīng)數(shù)據(jù)庫資源的不確定需求。因此，需要建立基于動態(tài)數(shù)據(jù)集的數(shù)據(jù)庫網(wǎng)絡(luò)系統(tǒng)，以提高數(shù)據(jù)資源的管理水平，提高資源的精度和查詢率，提高數(shù)據(jù)庫資源的管理效率。(2)對數(shù)據(jù)的精確分析實時大數(shù)據(jù)分析正成為電子商務(wù)的核心競爭力，大數(shù)據(jù)的價值在于信息分析和利用。云計算可以收集、存儲、分析和處理大量的數(shù)據(jù)和大數(shù)據(jù)在最短的時間內(nèi),這樣可以提高企業(yè)的信息分析能力,可以實時大數(shù)據(jù)挖掘和大數(shù)據(jù)的深度分析,電子商務(wù)。淘寶購物每天產(chǎn)生海量的交易時間、商品價格、購買數(shù)量等數(shù)據(jù)、股東年數(shù)、職業(yè)、地址等個人信息，交易額達(dá)數(shù)百萬。在這些海量數(shù)據(jù)中，淘寶購物可以精確地對各種購物進(jìn)行排名，并進(jìn)行個性化的智能推薦。這樣就可以分析用戶的行為數(shù)據(jù)，獲得電子商務(wù)用戶所需的個人信息和商品，從而進(jìn)行精準(zhǔn)營銷。商家可以根據(jù)歷史信息和“淘寶指數(shù)”進(jìn)行生產(chǎn)和庫存項目，讓顧客按照個性化的需求獲取商品信息，提高顧客滿意度。電子商務(wù)領(lǐng)域的實時大數(shù)據(jù)分析可以提高其營銷競爭力。對數(shù)據(jù)信息的詳細(xì)分析和相關(guān)信息的合理利用是大數(shù)據(jù)的主要價值所在。采用云計算可以在最短的時間內(nèi)有效地收集、存儲、分析和處理海量數(shù)據(jù)。提高企業(yè)的信息分析和數(shù)據(jù)處理能力，使電子商務(wù)能夠?qū)崟r挖掘海量數(shù)據(jù)，深入分析數(shù)據(jù)。(3)快速靈活的處理能力快速靈活的處理能力是電子商務(wù)系統(tǒng)追求的主要目標(biāo)?？焖凫`活的處理能力可以有效的解決突發(fā)的交通問題;客戶瀏覽請求和大量訂單。同時，隨著業(yè)務(wù)量的增加和客戶需求的增加，需要不斷擴(kuò)大服務(wù)，增加數(shù)據(jù)的存儲設(shè)備?；谠朴嬎慵夹g(shù)的云存儲平臺具有無限的海量存儲、超大規(guī)模計算等資源，可以存儲和處理TB類和PB類。企業(yè)不需要安裝硬線，以實現(xiàn)系統(tǒng)的低成本快速部署和應(yīng)用，實現(xiàn)系統(tǒng)的靈活性，從而提高資源的管控能力，促進(jìn)資源的優(yōu)化利用。該廉價快速的應(yīng)用系統(tǒng)可廣泛應(yīng)用于許多企業(yè)。比如淘寶和天貓就采用這種方式來增加銷量。這樣，大數(shù)據(jù)處理可以影響電子商務(wù)，提高快速靈活的數(shù)據(jù)處理能力和運行效率。(4)云計算的信息安全電子商務(wù)企業(yè)信息安全是電子商務(wù)服務(wù)可持續(xù)發(fā)展的關(guān)鍵。在激烈的市場競爭中，企業(yè)擁有以核心資產(chǎn)為核心的大數(shù)據(jù)。數(shù)據(jù)過于敏感和復(fù)雜，成為攻擊目標(biāo)，加速了企業(yè)信息隱私暴露的風(fēng)險。大數(shù)據(jù)中的深度數(shù)據(jù)分析技術(shù)可以使黑客在攻擊大數(shù)據(jù)時更加精準(zhǔn)。信息安全是電子商務(wù)企業(yè)業(yè)務(wù)最關(guān)鍵的可持續(xù)保障。大數(shù)據(jù)已經(jīng)成為國家和大數(shù)據(jù)時代企業(yè)的核心資產(chǎn)，大數(shù)據(jù)將成為未來競爭的制高點。數(shù)據(jù)通常更為復(fù)雜、敏感，更容易成為攻擊網(wǎng)絡(luò)的明顯目標(biāo)，從而加速企業(yè)信息隱私風(fēng)險的暴露。更糟糕的是，深度大數(shù)據(jù)分析技術(shù)可以讓黑客在攻擊大數(shù)據(jù)時更加精準(zhǔn)。雖然電子商務(wù)無法阻止外部數(shù)據(jù)對個人信息的挖掘，但所有社交網(wǎng)站都可以從不同程度上開放用戶產(chǎn)生的實時數(shù)據(jù)。外部數(shù)據(jù)提供者可以通過收集、監(jiān)視和分析這些數(shù)據(jù)來獲取用戶的信息系統(tǒng)。正常的安全方案和措施不能滿足數(shù)據(jù)時代對數(shù)據(jù)的非線性增長需求的要求，用戶的隱私安全問題變得相當(dāng)明顯。大數(shù)據(jù)處理技術(shù)能夠全面、準(zhǔn)確、實時地監(jiān)測網(wǎng)絡(luò)異常和攻擊行為。此外，還可以對用戶信息進(jìn)行實時安全防范分析、質(zhì)量安全等級和風(fēng)險防范。根據(jù)具體情況，制定相應(yīng)的安全方案和措施，搜索攻擊源，避免黑客入侵網(wǎng)絡(luò)，保障信息安全。4．?dāng)?shù)據(jù)應(yīng)用步驟應(yīng)用數(shù)據(jù)大致分為以下步驟:a)數(shù)據(jù)采集、驗證、過濾;b)分類并存儲在數(shù)據(jù)倉庫中;c)數(shù)據(jù)挖掘關(guān)聯(lián)，尋找法律隱含的數(shù)據(jù)與數(shù)據(jù)之間的關(guān)聯(lián);d)數(shù)據(jù)建模和參數(shù)調(diào)整;e)基于數(shù)據(jù)的應(yīng)用程序開發(fā)和決策支持。下面的例子來說明。1)美國醫(yī)學(xué)網(wǎng)站W(wǎng)ebMDEDM定期發(fā)送用戶信息基于懷孕懷孕女性用戶填提醒母親預(yù)防措施,時間點,你需要攝入營養(yǎng),產(chǎn)前生理變化和思想準(zhǔn)備做一個好工作,產(chǎn)后恢復(fù),孩子的成長和健康等等。2)1店鋪使用大數(shù)據(jù)分析向客戶發(fā)送個性化的EDM。如果顧客認(rèn)為商品店1日網(wǎng)站不買,有幾種可能性:1)股票,b)價格不合適,c)不需要或不想要的品牌商品,d)看看建議客戶時,客戶如果在現(xiàn)在商品脫銷的到來;如果有商品而顧客沒有購買是因為價格很有可能引起的，在商品降價的時候通知顧客;同時當(dāng)介紹商品和同類商品或相關(guān)商品時，熱情告知客戶。此外，通過挖掘客戶的周期性購買習(xí)慣，在客戶的購買周期時及時提醒客戶。3)淘寶于2012年推出淘寶時光機(jī)。應(yīng)用程序通過分析客戶行為的self-registration用戶自與幽默和生動的語言告訴客戶,淘寶的增長,用戶的統(tǒng)計行為類似于其他用戶的偏好分析后的客戶了解他們的喜好和預(yù)測他們的行為,等等。以生動的展示和個性化的數(shù)據(jù)與客戶拉近距離。4)谷歌對搜索過程的廣告意識以及對每個客戶站點的數(shù)據(jù)挖掘關(guān)注。而其聯(lián)盟內(nèi)的網(wǎng)站跟蹤客戶的行蹤，投放客戶興趣和潛在匹配的廣告，精準(zhǔn)營銷，提高轉(zhuǎn)化率。5)亞馬遜近年來推出了FDFC(ForwarddeployFulfilmentCenter)的概念，以加快向客戶交付的速度。亞馬遜的實現(xiàn)中心分為兩個層次:FC和FDFCFC品種更完整,但FDFC物理位置接近目標(biāo)市場,但物種的目標(biāo)市場集中容納一個熱門的商品,通過客戶FDFC以滿足大部分需求,不能滿足貨物的長尾FC。大多數(shù)商品的客戶可以通過FDFC需要更高效、更經(jīng)濟(jì)的物流來完成。由于熱門商品隨著時間和季節(jié)的變化而變化，所以FDFC決策中存儲的產(chǎn)品是動態(tài)調(diào)整的，這個決策是基于客戶需求分析和預(yù)測。應(yīng)用程序的各種例子很難詳盡無遺，但趨勢很明顯:大數(shù)據(jù)的價值和潛力再也不能被低估了。但并不是所有的公司都能在大數(shù)據(jù)領(lǐng)域挖到金礦。只有那些遠(yuǎn)見卓識、注重系統(tǒng)、愿意投資、吸引優(yōu)秀業(yè)務(wù)分析和系統(tǒng)人員的人才才會受寵。5．a(chǎn)priori算法及改進(jìn)應(yīng)用數(shù)據(jù)大致分為以下步驟:a)數(shù)據(jù)采集、驗證、過濾;b)分類并存儲在數(shù)據(jù)倉庫中;c)數(shù)據(jù)挖掘關(guān)聯(lián)，尋找法律隱含的數(shù)據(jù)與數(shù)據(jù)之間的關(guān)聯(lián);d)數(shù)據(jù)建模和參數(shù)調(diào)整;e)基于數(shù)據(jù)的應(yīng)用程序開發(fā)和決策支持。下面的例子來說明。5.1先驗的算法系統(tǒng)中使用的Apriori算法將詳細(xì)介紹如下:Apriori算法中的偽代碼如下:圖1Apriori算法中的偽代碼5.2Apriori算法改進(jìn)Apriori算法中最大的問題是源數(shù)據(jù)庫需要重復(fù)掃描一次。該算法不僅產(chǎn)生了大量的候選項集，而且增大了系統(tǒng)的負(fù)載容量，延遲了處理時間，消耗了大量的主存空間。因此，候選項集應(yīng)該適當(dāng)?shù)胤峙鋬?nèi)部內(nèi)存。實現(xiàn)對大型數(shù)據(jù)庫系統(tǒng)的快速掃描的技術(shù)和方法是為了提高管理規(guī)則的效率。從數(shù)據(jù)庫的海量數(shù)據(jù)中有效提取關(guān)聯(lián)規(guī)則是非常重要的。根據(jù)以上例子的操作，可以得到規(guī)則。如果每個數(shù)據(jù)庫中沒有N個頻繁項集，則不能包含N+1個頻繁項集。同時，N項集合中的支持水平與小于N項集合的項集合無關(guān)，無需考慮。1、不需要掃描小于N項集合的片段?？梢詼p少數(shù)據(jù)的處理數(shù)量。2、建立輔助表F，記錄表F中的物號和段長。此外，輔助表應(yīng)根據(jù)其順序進(jìn)行更新，刪除小于段長度的項集和未包含的項集。改進(jìn)的Apriori算法在操作時需要掃描輔助表，輔助表中不存在的記錄不能被掃描。如果生成的Ln頻繁N項集大于其段長度，則不包含在頻繁項集中的記錄不能存在于輔助表中，應(yīng)更新輔助表。首先掃描輔助表，然后跳過輔助表中未包含的記錄，提高效率。5.3改進(jìn)Apriori算法的實現(xiàn)下面的例子說明了改進(jìn)的Apriori算法的應(yīng)用。things數(shù)據(jù)庫如表1所示，最低支持級別假設(shè)為4。ThingsnumberItemsetThingsnumberItemsetThingsnumberItemsetT1A,B,C,D,ET4A,B,C,ET7A,BT2---T5ET8---T3A,C,ET6C,ET9A,B,C,D,E(1).掃描數(shù)據(jù)庫。每一項的出現(xiàn)都要進(jìn)行統(tǒng)計，形成Ci候選項集，如表2所示。內(nèi)部內(nèi)存應(yīng)該放在數(shù)據(jù)表中，這樣就可以產(chǎn)生初始的輔助表F1，如表3所示。表2itemsetsSupportcount{A}5{B}4{C}5{D}2{E}6表33F1auxiliarytableThingsnumberlengthofthefieldThingsnumberlengthofthefieldT15T62T20T72T33T80T44T95T51——

(2).刪除Ci候選項集小于定義的支持級別4的項集，如表4所示。要更新F1輔助表，刪除段長小于1的記錄和L1頻繁1項集合中未包含的記錄，得到F2輔助表，如表4所示表4L1頻繁1項集合itemsetsSupportcount{A}5{B}4{C}5{D}-{E}6(3).ConnectL1頻繁1-項集和C2的候選項集可以生產(chǎn),如表5所示通過掃描數(shù)據(jù)表和F2輔助表,L2頻繁2-項集可以通過刪除的項集不能滿足最低需求的支持水平,如表6所示。如表8所示，通過刪除段長度小于2且不包含在L2頻繁2項集合中的記錄，可以得到F3輔助表。Table5C2candidateitemsetsTable6L2frequent2-itemsetsTable8F3auxiliarytableitemsetsSupportcount{A,B}4{A,C}4itemsetsSupportcountThingsnumberlengthofthefield{A,E}4{A,B}4T15{B,C}3{A,C}4T33{B,E}3{A,E}4T44{C,E}5{C,E}5T95(4).連接L2頻繁的2項集，可生成C3候選項集，如表7所示。通過掃描數(shù)據(jù)表和F3輔助表，刪除不能滿足最小支持水平要求的項集，可以得到L3頻繁3項集，如表8所示?？偨Y(jié)算法運算，得到所有的頻繁項集，如表9所示。

Table7C3candidateitemsetsTable8L3frequent3itemsetsTable9FrequentitemsetsitemsetsSupportcountitemsetsSupportcount{A,B}4{A,B,C}3{A,C}4{A,B,E}3{A,E}4{A,C,E}4itemsetsSupportcount{C,E}5{A,B,C,E}5{A,C,E}4{A,C,E}4改進(jìn)了系統(tǒng)直接將數(shù)據(jù)表中的數(shù)據(jù)放入內(nèi)存中的算法，加快了運算速度，明顯提高了運算效率。查詢速度可以加快，因為每次掃描不需要再次掃描前一個數(shù)據(jù)庫表，只需直接訪問iternal內(nèi)存即可。輔助表的連接也可以加快效率的提高。輔助表可以減少與記錄無關(guān)的訪問次數(shù)，使數(shù)據(jù)表中記錄的數(shù)量明顯減少，減少時間。5.4前算法與后算法的比較分析為了驗證改進(jìn)的算法，在主機(jī)上安裝了相同的軟件。將改進(jìn)前的Apriori算法和改進(jìn)后的Apriori算法在相同的支持級別上進(jìn)行測試，以完成時間比較，判斷改進(jìn)效果。如果將9個項目集假設(shè)為(T1、T2、T3、T4、T5、T6、T7、T8、Tg)，且有4000個數(shù)據(jù)，則在相同時間復(fù)雜度下計算運行時間，如表10所示。Table10TheoperatingtimetablebetweenthebeforealgorithmandtheafteralgorithminthesamesupportlevelSupportcount2 2.533.544.55thebeforeimprovedApriorialgorithm49s36s23s14s12s9s7stheafterimprovedApriorialgorithm33s24s14s11s9s7s6s

6．結(jié)論當(dāng)支持度較大，算法運行時間較短時，輔助表和提取算法的應(yīng)用效率較低，算法優(yōu)勢不明顯。當(dāng)支持度較小時，刪除與段長不一致的事務(wù)，減少處理時間，減少數(shù)據(jù)庫表，使圖中的時間優(yōu)勢明顯。綜上所述，改進(jìn)后的Apriori算法在一定程度上提高了效率，在較小的支持水平下處理時間更加明顯。當(dāng)數(shù)據(jù)量較大時，相應(yīng)的輔助F也可以增大，內(nèi)存空間也相應(yīng)減小。同時，可以影響提取算法的處理時間，使算法需要進(jìn)一步改進(jìn)。參考文獻(xiàn)HadoopMapReduce./docs/r0.20.2/mapred_tutorial.html.2013HDFS./docs/hdfs/current/hdfs_design.html.2013ApacheHadoopNextGenMapReduce(YARN)./docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html.2013ManyikaJ,ChuiM,BrownB,etal.Bigdata;thenextfrontierforinnovation,competition,andproductivity.2011/archives/category/inter-net/electronic-commerce.GargSK,VersteegS,BuyyaR2013FutureGenerationComputerSystems29(4)1012-23NurmiD,WolskiR,GrzegorczykC,etal200