基于智能agen的webgis負(fù)載平衡模型研究

1系統(tǒng)的基礎(chǔ)架構(gòu)隨著空間信息基礎(chǔ)設(shè)施的不斷構(gòu)建，空間數(shù)據(jù)的處理也從科學(xué)計(jì)算轉(zhuǎn)向決策支持。這就要求建立基于web的大規(guī)?？臻g數(shù)據(jù)處理、不同專業(yè)領(lǐng)域的服務(wù)處理和專業(yè)領(lǐng)域的綜合服務(wù)處理的基于web的空間數(shù)據(jù)處理系統(tǒng)（sdm）。基于Web的空間數(shù)據(jù)挖掘系統(tǒng)的關(guān)鍵技術(shù)之一在于實(shí)現(xiàn)基于網(wǎng)絡(luò)的無(wú)縫的海量空間數(shù)據(jù)共享和互操作,以及對(duì)地理操作服務(wù)的共享和分布處理。2web空間數(shù)據(jù)技術(shù)2.1tamong的創(chuàng)新模式空間數(shù)據(jù)挖掘(SpatialDataMining)是從空間數(shù)據(jù)庫(kù)中自動(dòng)地挖掘知識(shí),尋找隱藏在空間數(shù)據(jù)庫(kù)中的不明確的知識(shí)、空間關(guān)系或其他模式。2.2進(jìn)行空間知識(shí)挖掘,提高自動(dòng)管理能力基于Web的空間數(shù)據(jù)挖掘(WebSpatialDataMining,WBS-DM)是指用智能化手段在Web上進(jìn)行空間知識(shí)的自動(dòng)挖掘、自動(dòng)組織和自動(dòng)管理。這種挖掘可以是逐個(gè)Web服務(wù)器進(jìn)行,也可以是多個(gè)Web服務(wù)器同時(shí)進(jìn)行,從不同的Web服務(wù)器上所獲得的局部知識(shí)經(jīng)過知識(shí)融合(知識(shí)再學(xué)習(xí))后向用戶提供整體的、感興趣的包括空間和非空間模式的普遍特征、普遍的幾何知識(shí)、空間分布規(guī)律、空間關(guān)聯(lián)規(guī)則、空間聚類規(guī)則、空間特征規(guī)則、空間區(qū)分規(guī)則以及空間演變規(guī)則在內(nèi)的各種知識(shí)。2.3并行挖掘策略Web空間數(shù)據(jù)挖掘與基于Web的數(shù)據(jù)挖掘或與一般的空間數(shù)據(jù)挖掘相比較,有其自己的特點(diǎn):空間數(shù)據(jù)的復(fù)雜性:空間數(shù)據(jù)庫(kù)與一般的關(guān)系數(shù)據(jù)庫(kù)相比其復(fù)雜程度要高許多:既有圖形數(shù)據(jù)又有屬性數(shù)據(jù),而圖形數(shù)據(jù)是一種非結(jié)構(gòu)化的數(shù)據(jù)。圖形數(shù)據(jù)中既有矢量數(shù)據(jù)又有柵格數(shù)據(jù),圖形數(shù)據(jù)往往又分成很多層,所以在空間數(shù)據(jù)庫(kù)中實(shí)施數(shù)據(jù)挖掘要比一般的關(guān)系數(shù)據(jù)庫(kù)復(fù)雜。數(shù)據(jù)的實(shí)時(shí)挖掘:在WBSDM中,挖掘是分布在各節(jié)點(diǎn)進(jìn)行的,相對(duì)預(yù)先收集數(shù)據(jù)再集中處理的挖掘方式,功能的分布使分布式數(shù)據(jù)挖掘系統(tǒng)能適合動(dòng)態(tài)的、變化較快的數(shù)據(jù)的分析處理。并行性挖掘:在WBSDM中,數(shù)據(jù)挖掘算法效率與通信模型和數(shù)據(jù)的分布密切相關(guān)。對(duì)于不同的體系結(jié)構(gòu),必須采用不同的并行挖掘策略。例如,目前的一些并行數(shù)據(jù)挖掘算法,如PDM(parallelDataMining,pDM)等,它們大多是用于多處理器的緊耦合方式,對(duì)于松耦合方式,如在LAN(LocalAreaNetwork,LAN)、MAN(MetroPolltanAreaNetwork,MAN)等環(huán)境下,由于帶寬、傳輸延遲等網(wǎng)絡(luò)參數(shù)的不同,這些并行數(shù)據(jù)挖掘并不適用。因此,在網(wǎng)絡(luò)環(huán)境中,應(yīng)根據(jù)不同的通信模型,選擇適當(dāng)?shù)臄?shù)據(jù)挖掘算法。同時(shí),根據(jù)數(shù)據(jù)分布的不同,也應(yīng)選擇相應(yīng)的并行化策略。全局挖掘和局部挖掘:對(duì)于一個(gè)數(shù)據(jù)挖掘任務(wù)而言,如果它是針對(duì)所有數(shù)據(jù)的,則稱為全局挖掘;如果它是針對(duì)本地?cái)?shù)據(jù),則稱為局部挖掘。對(duì)于一個(gè)局部挖掘,它既可以獨(dú)立于全局挖掘,也可以作為全局挖掘的一部分;而對(duì)于一個(gè)全局挖掘,它既是一個(gè)不可分割的整體,也可以由若干局部挖掘通過一定的方式組合在一起。WBSDM中不僅有許多局部挖掘,而且每一個(gè)局部挖掘又聯(lián)系著全局挖掘。知識(shí)的增量性更新:當(dāng)數(shù)據(jù)發(fā)生變化或挖掘時(shí)的參數(shù)發(fā)生變化,都需要更新挖掘結(jié)果。如果將挖掘過程重新運(yùn)行一遍,代價(jià)無(wú)疑是非常昂貴的。通常的辦法是,充分利用已有的挖掘結(jié)果,只針對(duì)改變的部分?jǐn)?shù)據(jù)或參數(shù)進(jìn)行挖掘,然后調(diào)整修改已有規(guī)則。在網(wǎng)絡(luò)數(shù)據(jù)挖掘中,知識(shí)的更新主要是指對(duì)全局知識(shí)的更新,主要有兩種方式:根據(jù)數(shù)據(jù)或參數(shù)的變化,直接對(duì)已有的全局認(rèn)識(shí)進(jìn)行增量式更新;根據(jù)數(shù)據(jù)或參數(shù)的變化,先對(duì)局部知識(shí)進(jìn)行增量式更新。然后,根據(jù)局部知識(shí)的變化,調(diào)整更新全局知識(shí)。3智能機(jī)器人技術(shù)3.1域agentAgent技術(shù)來(lái)源于分布式人工智能(DAI)領(lǐng)域,Agent是駐留于某個(gè)環(huán)境中,具有特定完整功能的、獨(dú)立的、高度智能化的個(gè)體,并掌握一定的知識(shí),有自己的目標(biāo)和解決問題的能力的一個(gè)封裝好的計(jì)算實(shí)體。3.2環(huán)境行為的特征智能Agent不僅能作用于自身,而且可以施動(dòng)作于環(huán)境,并能接收環(huán)境的反饋信息,重新評(píng)估自己的行為;它具有如下基本特征:(1)駐留性:Agent存在于一定的環(huán)境之中,它能感知環(huán)境輸入(如某些事件的發(fā)生),并通過動(dòng)作和行為來(lái)影響環(huán)境。(2)自主性:Agent具有屬于其自身的有限計(jì)算資源和局部于自身的行為控制機(jī)制。Agent能在沒有人類或其它Agent的直接干涉和指導(dǎo)的情況下持續(xù)運(yùn)行,并能根據(jù)其內(nèi)部狀態(tài)和感知到的環(huán)境信息決定和控制自身的狀態(tài)和行為。(3)反應(yīng)性:Agent能夠感知所處的環(huán)境變化,并且能針對(duì)環(huán)境中發(fā)生的相關(guān)事件做出適時(shí)和合理的響應(yīng)。(4)主動(dòng)性:Agent并不是簡(jiǎn)單地對(duì)環(huán)境中的事件做出反應(yīng),而是表現(xiàn)出某種目標(biāo)指導(dǎo)(GoalDirected)的行為。也就是說,Agent的行為是為了實(shí)現(xiàn)其內(nèi)在的目標(biāo)。在某些情況下,Agent能夠主動(dòng)地產(chǎn)生目標(biāo),繼而采取主動(dòng)的行為。(5)社會(huì)性:Agent可能處于由多個(gè)Agent構(gòu)成的社會(huì)環(huán)境中,Agent擁有其它Agent的信息和知識(shí),并能通過某種Agent通訊語(yǔ)言與其它Agent實(shí)施靈活多樣的交互和通訊,實(shí)現(xiàn)與其它Agent的合作和協(xié)同等等,以完成其自身問題求解或者幫助其它Agent完成相關(guān)的活動(dòng)。3.3任務(wù)系統(tǒng)的設(shè)計(jì)針對(duì)分布式空間信息協(xié)作服務(wù),結(jié)合服務(wù)器端策略和客戶端策略的混合策略,主要完成系統(tǒng)的任務(wù)協(xié)調(diào)組織,故智能A-gent設(shè)置在服務(wù)端平臺(tái)上,將信息導(dǎo)航服務(wù)與服務(wù)導(dǎo)航服務(wù)相給合:根據(jù)用戶和系統(tǒng)需求,協(xié)調(diào)組織任務(wù),從底層到上層,初步設(shè)計(jì)為包含四層:(1)第一層——通信層:實(shí)現(xiàn)與客戶的通信功能。(2)第二層一一信息與服務(wù)導(dǎo)航層:利用相關(guān)任務(wù)Agent的功能目錄庫(kù),實(shí)現(xiàn)信息的定位與服務(wù)的定位;(3)第三層——任務(wù)分解、協(xié)調(diào)與綜合層:在用戶進(jìn)行綜合查詢的情況下,根據(jù)用戶查詢的內(nèi)容,確定任務(wù)如何分解與分配,維護(hù)數(shù)據(jù)庫(kù)的索引,最終完成任務(wù)結(jié)果的綜合。(4)第四層一一信息預(yù)處理層:接受用戶發(fā)送過來(lái)的查詢消息,進(jìn)行內(nèi)容的分解,消息格式的轉(zhuǎn)換,以便將其作為參數(shù)提交給下層。3.4gis數(shù)據(jù)處理方面的應(yīng)用Agent技術(shù)最重要的貢獻(xiàn)是它提供了一種全新的軟件工程思想,它具有的智能性、反應(yīng)性和自治性,在系統(tǒng)任務(wù)分配和并行處理等方面起到重要作用。在GIS應(yīng)用領(lǐng)域,信息處理通常要處理大量的空間數(shù)據(jù)。傳統(tǒng)的程序模塊或信息資源固定地分布在網(wǎng)絡(luò)中的某臺(tái)服務(wù)器上,用戶對(duì)某個(gè)程序模塊或信息資源的請(qǐng)求會(huì)引起數(shù)據(jù)在網(wǎng)絡(luò)上或分布式系統(tǒng)中的大規(guī)模遷移,嚴(yán)重消耗帶寬和資源,利用Agent來(lái)合理分配協(xié)調(diào)任務(wù),避免大量空間數(shù)據(jù)在網(wǎng)絡(luò)上的遷移,減輕了服務(wù)器和網(wǎng)絡(luò)計(jì)算的負(fù)擔(dān),提高了系統(tǒng)性能。4linda模型在分布式結(jié)構(gòu)環(huán)境中,GIS資源不是以整體的形式提供給用戶,而是成為運(yùn)行在網(wǎng)絡(luò)上的服務(wù)對(duì)象。與此同時(shí),WebGIS在互聯(lián)網(wǎng)上的負(fù)載變得日益擁擠,且這種現(xiàn)象是動(dòng)態(tài)發(fā)生的,這經(jīng)常會(huì)導(dǎo)致服務(wù)器無(wú)法正常地甚至?xí)?dǎo)致一些應(yīng)用程序的崩潰。要使Web空間數(shù)據(jù)挖掘能正常工作,首先要解決負(fù)載平衡。為了解決這類問題,Yale大學(xué)NiecholasCarriero和DavidGelemter(1986)在基于分散數(shù)據(jù)結(jié)構(gòu)和共享存儲(chǔ)系統(tǒng)的并行計(jì)算模型的基礎(chǔ)上提出了Linda模型,見圖4-1。該模型定義了一個(gè)功能強(qiáng)大的邏輯存儲(chǔ)器(TS)和在其上的一組核心操作原語(yǔ)(in,out,read,eval),它們能夠方便地嵌入到不同的語(yǔ)言(例如:C、Fortran、java、Modula、Prolog等)中而構(gòu)成相應(yīng)的并行語(yǔ)言(C-Linda、Fortran-Linda、Java-Linda、Modul-Linda、Prolog-Linda等)。其中,原語(yǔ)rd和in是阻塞式的,在rd和in找到所需的元組之前,調(diào)用rd和in原語(yǔ)操作的進(jìn)程被掛起。而原語(yǔ)out和eval則是非阻塞式的。現(xiàn)在Linda的協(xié)調(diào)模型已經(jīng)被用于Internet代理系統(tǒng)(CiancariniP.etal1998)。Linda模型雖然很有效,但實(shí)現(xiàn)起來(lái)有些過于簡(jiǎn)單,尤其在分布式環(huán)境的情況下。Linda的實(shí)現(xiàn)必須解決諸如元組存放在哪里,如何實(shí)現(xiàn)負(fù)載均衡等問題。但原模型并未完全解決。4.1基于lvs的負(fù)載動(dòng)態(tài)均衡模型目前已投入應(yīng)用的、類似的DNS動(dòng)態(tài)負(fù)載均衡解決方案有四種動(dòng)態(tài)均衡模型:(1)使用一個(gè)特別區(qū)域代理以從外部資源獲得信息的負(fù)載平衡方法;(2)通過一個(gè)專門的負(fù)載平衡服務(wù)器來(lái)解釋請(qǐng)求并將其指向一個(gè)最佳服務(wù)器;(3)通過一個(gè)遠(yuǎn)程監(jiān)視系統(tǒng)來(lái)監(jiān)視不同服務(wù)器的性能,從而提供給DNS一個(gè)反饋;(4)通過內(nèi)部監(jiān)視系統(tǒng)來(lái)監(jiān)視服務(wù)器的性能,并且提供給DNS的反饋。我們的目的是要建立非人為監(jiān)控的、能根據(jù)具體情況及時(shí)處理的負(fù)載均衡系統(tǒng),在Linda模型的基礎(chǔ)上,采用一個(gè)專門的負(fù)載平衡服務(wù)器的方法,再適當(dāng)結(jié)合相關(guān)方法進(jìn)行設(shè)計(jì)。同時(shí),模型的具體應(yīng)用方式不同于DNS動(dòng)態(tài)均衡模型,它必須有N個(gè)服務(wù)器同時(shí)服務(wù),故而要根據(jù)特定的應(yīng)用進(jìn)行設(shè)計(jì)。采取的策略如下:以HASH算法為主,結(jié)合基本的平衡算法,按具體情況進(jìn)行添補(bǔ)。在實(shí)際使用中考慮到冗余備份技術(shù),故而設(shè)計(jì)了備份服務(wù)器。在LVS的基礎(chǔ)上配合輪詢算法實(shí)現(xiàn)了集群的動(dòng)態(tài)負(fù)反饋機(jī)制。結(jié)合負(fù)載動(dòng)態(tài)均衡的基本要求和Linda模型的優(yōu)點(diǎn),提出解決模型如圖4-2。Agent的通信交互能力實(shí)現(xiàn)空間信息處理任務(wù)在客戶端和服務(wù)器之間的負(fù)載均衡,對(duì)空間信息處理功能進(jìn)行合理的分布。結(jié)合服務(wù)器端策略和客戶端策略兩種方式,把耗用時(shí)間短而數(shù)據(jù)抽取率高的分布在客戶端;耗用時(shí)間長(zhǎng)而數(shù)據(jù)抽取率低的分布在服務(wù)器端,以便充分利用服務(wù)器端運(yùn)算速度快存有大量數(shù)據(jù)的優(yōu)勢(shì),從而減小數(shù)據(jù)的重復(fù)傳輸,減輕網(wǎng)絡(luò)的負(fù)載。負(fù)載動(dòng)態(tài)均衡步驟通常包括:(l)各個(gè)節(jié)點(diǎn)間負(fù)載信息收集;(2)根據(jù)所收集的負(fù)載信息進(jìn)行決策;(3)實(shí)現(xiàn)任務(wù)在各節(jié)點(diǎn)之間的遷移。網(wǎng)絡(luò)負(fù)載平衡中,一個(gè)要素是數(shù)據(jù)包的連接。在TCP/IP協(xié)議中,數(shù)據(jù)包含有必要的網(wǎng)絡(luò)信息,因此必須從連接的角度看待數(shù)據(jù)包—從源地址的端口建立到目的地址端口的連接。另一個(gè)要素就是節(jié)點(diǎn)的資源使用狀態(tài)。由于負(fù)載均衡是這類系統(tǒng)的最終目的,那么就必須考慮及時(shí)、準(zhǔn)確的把握節(jié)點(diǎn)負(fù)載狀況,并根據(jù)各個(gè)節(jié)點(diǎn)當(dāng)前的資源使用狀態(tài)動(dòng)態(tài)調(diào)整負(fù)載均衡的任務(wù)分布。一般情況下,均衡器處理諸如應(yīng)用系統(tǒng)負(fù)載、活躍用戶數(shù)、可用的網(wǎng)絡(luò)協(xié)議緩存以及其它的資源信息,可以靜態(tài)預(yù)先設(shè)置或根據(jù)當(dāng)前的網(wǎng)絡(luò)狀態(tài)來(lái)決定負(fù)載分發(fā)到哪個(gè)特定的節(jié)點(diǎn)。節(jié)點(diǎn)在集群內(nèi)部可以互相連接,但它們必須與均衡器直接或間接相連。網(wǎng)絡(luò)均衡器可以認(rèn)為是網(wǎng)絡(luò)層次上的作業(yè)調(diào)度系統(tǒng),大多數(shù)網(wǎng)絡(luò)負(fù)載均衡器組能夠在網(wǎng)絡(luò)上體現(xiàn)為一個(gè)單一的IP地址被用戶訪問,而具體服務(wù)的節(jié)點(diǎn)對(duì)用戶而言是透明的。4.2目的端口根據(jù)前面提出的均衡模型,并綜合考慮多個(gè)Agent協(xié)調(diào)的情況,設(shè)計(jì)出下述相關(guān)算法:(1)統(tǒng)計(jì)用戶總數(shù)目N=∑j,以及登記不重復(fù)的用戶數(shù)目M=∑i；(4)判斷目的端口負(fù)載比例是否小于T(Mi)/∑T(Mi),其中T(Mi)為目的端口i的任務(wù)量,∑T(Mi)為當(dāng)前同步周期需要處理的任務(wù)總量;否則,轉(zhuǎn)至(7);(5)判斷連接的節(jié)點(diǎn)數(shù)是否小于設(shè)定閥值(經(jīng)驗(yàn)值一般為16),若是,則轉(zhuǎn)發(fā);否則轉(zhuǎn)至(6);(6)存入目的端口數(shù)據(jù)緩沖區(qū),等待目的端口響應(yīng);(7)將目的地端口的數(shù)據(jù)復(fù)制到共享數(shù)據(jù)緩沖區(qū),反饋信息至源端口,等待響應(yīng);(8)反饋信息至源端口。5基于智能agent的分布式websdm地理信息系統(tǒng)的發(fā)展和應(yīng)用,使得基于智能代理的分布式,WebSDM成為當(dāng)前研究的熱點(diǎn)問題。結(jié)合智能Ag