摘要隨著網(wǎng)絡(luò)技術(shù)的進步，Internet己經(jīng)發(fā)展成為信息社會中最重要的內(nèi)容發(fā)布系統(tǒng)，但Internet中傳統(tǒng)的以應(yīng)用服務(wù)器為中心的內(nèi)容分發(fā)網(wǎng)絡(luò)（ContentDistributionNetwork，CDN）存在著性能瓶頸，不利于網(wǎng)絡(luò)擴大和維護費用高等問題。與此同時，一種新的分布式資源利用模式——對等網(wǎng)絡(luò)（Peer-to-Peer，P2P）計算產(chǎn)生了。與傳統(tǒng)的C/S計算不同的是，P2P計算一般不需要中心服務(wù)器。網(wǎng)絡(luò)中每個節(jié)點既是客戶端，又是服務(wù)器。P2P允許計算節(jié)點之間的直接交流和協(xié)作。P2P計算可以充分利用Internet邊緣日益豐富的閑置資源，包括計算、存儲、帶寬等資源。內(nèi)容發(fā)布和共享是P2P計算的一個主要應(yīng)用領(lǐng)域，基于P2P的內(nèi)容發(fā)布系統(tǒng)的特點是能夠充分利用大量的客戶端資源，減輕或者拋卻應(yīng)用服務(wù)器的負(fù)載。P2P內(nèi)容分發(fā)機制的核心是負(fù)載均衡算法以及文件分塊選擇算法。其中負(fù)載均衡算法的目的是選擇更接近的、性能更好的節(jié)點作為分發(fā)服務(wù)器。為適應(yīng)P2P網(wǎng)絡(luò)的各個節(jié)點隨時變化的狀態(tài)以及性能，內(nèi)容分發(fā)機制采用動態(tài)的基于優(yōu)先級的負(fù)載均衡算法——根據(jù)節(jié)點CPU和內(nèi)存的狀況、兩節(jié)點之間的邏輯距離以及網(wǎng)絡(luò)狀況進行優(yōu)先級計算并排序，然后順序選擇節(jié)點發(fā)出資源請求。文件分塊選擇算法依據(jù)文件兩層分塊的原理劃分為兩部分：部分選擇算法以及塊選擇算法。前者采用基于優(yōu)先級的原則：通過該部分在各節(jié)點的分布情況、完成度等因素計算出優(yōu)先級，選擇優(yōu)先級最大的部分進行分發(fā)。后者采用順序選擇以及節(jié)點反饋相結(jié)合的方法：正常情況下，按照塊的順序進行選擇；否則，跳躍到下載點所反饋回來的下一塊進行順序選擇。負(fù)載均衡算法使得下載者趨向于向更接近的、性能更好的上傳者發(fā)出資源請求，以獲得更好的分發(fā)速度；文件分塊選擇算法有助于增大網(wǎng)絡(luò)中文件分塊在各個下載者之間的差異性，以便加快下載者之間的分發(fā)速度。以此為核心的內(nèi)容分發(fā)機制可以更快的速度從更接近、性能更好的節(jié)點處獲得資源。關(guān)鍵字：內(nèi)容分發(fā)、對等網(wǎng)絡(luò)、負(fù)載均衡、分塊選擇、KademliaAbstractWiththedevelopmentofnetworktechnology,Internethasbecomethemostimportantcontentdistributionsystemintheinformationsociety,butthetraditionalserver-centriccontentdistributionmodeisalsoconfrontedwithperformancebottleneck.Atthesametime,P2Pcomputingasanewmodeofutilizingdistributedcomputingresourcescomesintobeing.ItisdifferentfromClient/Servercomputing,commonlythereisnospecialserverinP2Pnetworkandnodescancommunicateandcollaboratedirectlywitheachother.P2PcomputingcanutilizeincreasinglyunusedresourcesintheedgeoftheInternet.ContentdistributionandsharingisoneofthemainapplicationsofP2Pcomputing,P2P-basedcontentdistributionsystemcanfullyutilizeresourcesofvastclientsandlightentheloadofapplicationserver.ThecoreoftheP2P-basedcontentdistributionmechanismistheloadbalancearithmeticandthefile’spartchoosingarithmetic.Thepurposeoftheloadbalancearithmeticistochoosethenodewhichisnearerorhasabetterperformanceasthedistributionserver.Toadapttothemomentarilychangingofthestateandtheperformanceofthenodes,thepriority-basedloadbalancearithmeticisused,whoseprincipleis:calculatingandsortingtheprioritybythestatesoftheCPUandmemory,thelogicdistanceofthenodesandthestatesofnetwork,thensendaresourcerequesttothenodethathasthehighestpriority.Liketheprincipleofthefile’spartition,thefile’spartchoosingarithmeticisdividedintotwo:thePart-choosingarithmeticandtheBlock-choosingarithmetic.ThePart-choosingarithmeticispriority-based:calculatingandsortingeveryPart’sprioritybythesituationofthePartinthenodesandthefinishpercentage,thensendingthePartthathasbiggestpriority.TheBlock-choosingarithmetic’sprincipleischoosingintheorderandthenode’sfeedback:InthenormalconditionchoosingtheBlockintheorder;otherwise,choosingtheBlockbeginningwiththefeedback.Theload-balancearithmeticcouldmakethedownload-nodetosendtheresourcerequesttotheupload-nodewhichisnearerandhasbetterperformance;thefile’spartchoosingarithmeticisgoodformakingthedifferenceofthefile’sPartinthedownload-nodesbigger,andmakingthespeedofthedistributionfaster.Thecontentdistributionmechanismwhosecoreisthetwoarithmeticscanmakethenodetogettheresourcefasterfromthenearerandbetterperformancenodes.Keyword:ContentDistribution,P2P,LoadBalance,PartChoose,Kademlia目錄TOC\o"1-2"\u摘要……………………. 圖52可以看出，文件的平均分塊丟棄率隨著的分發(fā)子網(wǎng)的增大，而逐漸的增大。如果不限制分發(fā)子網(wǎng)的節(jié)點個數(shù)，文件的平均丟棄率獎達到100％，甚至可能超過100％。如此用平均丟棄率來衡量文件分塊選擇的性能就沒有多大的意義。而且平均丟棄率越大意味著分發(fā)子網(wǎng)中的無效傳輸越多，逐漸增多的無效傳輸對整體的分發(fā)性能并沒有好處，而會對網(wǎng)絡(luò)帶來擁塞。因此，應(yīng)該控制分發(fā)子網(wǎng)的大小，而這也是負(fù)載均衡算法的設(shè)計原因之一。圖STYLEREF1\s5SEQ圖\*ARABIC\s12分塊選擇算法測試結(jié)果圖本章小結(jié)本章的工作是對原型系統(tǒng)的測試以及結(jié)果分析。由于本文的重點集中在負(fù)載均衡算法以及文件分塊選擇算法上，因此對本系統(tǒng)的測試也是集中在這兩點上。本章對負(fù)載均衡算法的算法的正確性進行了簡單的測試與分析，并利用文件分塊丟失率來測試文件分塊選擇算法的性能?？偨Y(jié)與展望本文工作總結(jié)本文針對P2P網(wǎng)絡(luò)環(huán)境下的內(nèi)容分發(fā)機制進行研究，分析了包括客戶端/服務(wù)器模式和各種P2P模式（集中式P2P，分布式非結(jié)構(gòu)化P2P、混合式P2P以及分布式結(jié)構(gòu)化P2P）在內(nèi)的各種內(nèi)容分發(fā)方法的優(yōu)缺點，并結(jié)合系統(tǒng)的拓?fù)浣Y(jié)構(gòu)——分布式結(jié)構(gòu)化覆蓋網(wǎng)絡(luò)Kademlia，提出并實現(xiàn)了一個P2P環(huán)境下的內(nèi)容分發(fā)機制——分發(fā)方式、負(fù)載均衡算法以及文件分塊選擇算法，最后對內(nèi)容分發(fā)模塊進行了測試，并對結(jié)果進行了分析。本文提出了混合式的內(nèi)容分發(fā)方式。對于部分級的文件分塊粒度，實現(xiàn)的是拉方式；對于塊級粒度，實現(xiàn)的是推方式。但這都只是大層次的劃分，事實上，兩種粒度實現(xiàn)的都不是單純的一種方式，而是兩種方式的混合。本文提出了兩層的文件分塊選擇算法：基于優(yōu)先級的部分選擇算法和連續(xù)選擇的塊選擇算法。本文提出了基于優(yōu)先級的負(fù)載均衡算法，但在具體實現(xiàn)時，為避免過多的節(jié)點相互信息交換通信，在請求者端實現(xiàn)的基于邏輯距離的負(fù)載均衡算法，而在被請求者端實現(xiàn)阻塞機制。展望本文完成了基于文件的P2P環(huán)境下的內(nèi)容分發(fā)機制的設(shè)計與實現(xiàn)，實現(xiàn)了分布式結(jié)構(gòu)化覆蓋網(wǎng)絡(luò)Kademlia下的對各種文件進行內(nèi)容分發(fā)的功能。但是本系統(tǒng)在某些方面依然需要進一步的研究與完善，本人認(rèn)為今后在以下方面有待進一步的研究：實現(xiàn)內(nèi)網(wǎng)互連和防火墻穿透功能。提高系統(tǒng)的安全性。提高跨平臺性。參考文獻StefanSaroiu,KrishnaP.Gummadi,etal.AnAnalysisofInternetContentDeliverySystems.InProc.ofOSDI'02,2002TyronStading,PetrosManiatis,MaryBaker.Peer-to-PeerCachingSchemestoAddressFlashCrowds.IPTPS2002,LNCS2429.203～213StephenAdler.TheSlashdotEffect:anAnalysisofThreeInternetPublications.LinuxGazette38,1999GuillaumePierre,MaartenvanSteen.Globule:aplatformforself-replicatingWebdocuments.Proceedingsofthe6thInternationalConferenceonProtocolsforMultimediaSystems,2001,10.1～11謝智文.互聯(lián)網(wǎng)P2P應(yīng)用技術(shù)探討.武漢市第二屆學(xué)術(shù)年會、通信學(xué)會2006年學(xué)術(shù)年會論文集.2006.236~237梁毅，王忠.P2P技術(shù)的發(fā)展與應(yīng)用.四川省通信學(xué)會2005年學(xué)術(shù)年會論文集，2005.440~443LiZP,HuangJH,HuangDY,ZhuangL.IntroductiontoPeer-to-Peernetworkingtechnologyanddevelopment.TelecommunicationsScience,2003,19(3).1-4李之棠.P2P原理與技術(shù)[J].華中科技大學(xué)計算機學(xué)院.CERNET第十一屆學(xué)術(shù)會議李珊.P2P技術(shù)：互聯(lián)網(wǎng)發(fā)展的新驚喜.電子商務(wù)，ElectronicScience&TechnologyReview,2005,02期.72~74DejanS.Milojicic,VanaKalogeraki,etal.Peer-to-PeerComputing.HPLaboratoriesPaloAlto,HPL-2002-57李陽明，王麗芬，郭慧.P2P對等網(wǎng)絡(luò)的關(guān)鍵技術(shù)及應(yīng)用.現(xiàn)代計算機（專業(yè)版），2005年08期BalachanderKrishnamurthy,CraigWills,YinZhang.OntheUseandPerformanceofContentDistributionNetworks.InACMSIGCOMMINTERNETMEASUREMENTWORKSHOP2001LazarI,TerrillW.ExploringContentDeliveryNetworking[J]，ITProfessional,Volume3,Issue4,July-Aug.2001.47~49IonStoica,RobertMorris,DavidKarger,M.FransKaashoek,HariBalakrishnan.Chord:AScalablePeer-to-peerLookupServiceforInternetApplications,InProc.ACM,SIGCOMM,SanDiego,CA,August2001.149~160JohnKubiatowicz,DavidBindel,YanChen,StevenCzerwinski.Oceanstore:AnarchitectureforGlobal-ScalePersistentStorage.InProc.ASPLOS’2000,Cambridge,MA,November2000.190~201BenY.Zhao,JohnKubiatowiczandAnthonyD.Joseph.Tapestry:AnInfrastructureforFault-tolerantWide-areaLocationandRouting.TechnicalReportNo.UCB/CSD-01-1141,UniversityofCaliforniaBerkeleyThomasKaragiannis,AndreBroido,NevilBrownlee,etal.File-sharingintheInternet:AcharacterizationofP2Ptrafficinthebackbone.CAIDA,SDSC,UCSDM.Ripeanu.Peer-to-peerArchitectureCaseStudy:Gnutella.InProceedingsofInternationalConferenceonP2PComputing,2001S.Saroiu,P.K.Gummadi,etal.AmeasurementStudyofPeer-to-PeerFileSharingSystems.ProceedingsofMultimediaComputingandNetworking(MMCN),2002NicolDM.Communicationloadbalancingindistributedsystems[C].ProcofScalableHighPerformanceComputingConf,1992.292~299張聯(lián)峰，劉乃安等.綜述：對等網(wǎng)(P2P)技術(shù)，計算機工程與應(yīng)用，2003P.Backx,T.Wauters,B.Dhoedt,P.Demeester.AComparisonofPeer-to-PeerArchitectures[J],EurescomSummit2002.67~75DavidLiben-Nowell,HariBalakrishnan,DavidKarger.Observationsonthedynamicevolutionofpeer-to-peernetworks[J],InProceedingsoftheFirstInternational,WorkshoponPeer-to-PeerSystems,Cambridge,MA,2002.3.25~68JaimeWoret.InterconnectingUnstructuredP2PFileSharingNetworks.P2PJournal.January,2005樂光學(xué).基于Gnutella協(xié)議的P2P網(wǎng)絡(luò)路由搜索算法：Light-Flooding[J]，計算機工程,2005年11期.121~123JainS,MahajanR,WetherallD.AstudyoftheperformancepotentialofDHT-basedoverlays.In:Proc.ofthe4thUSENIXSymposiumonInternetTechnologiesandSystems(USITS2003).2003.256~261AFiat,JSaia.Censorshipresistantpeer-to-peercontentaddressablenetworks.ProceedingsofthethirteenthannualACM-SIAMsymposiumonDiscretealgorithms.2002.94~103SRatnasamy.AScalableContent-AddressableNetwork.[Ph.D.Thesis].UniversityofCalifornia,Berkeley.October2002LuaE.Keong,CrowcroftJon,PiasMarcelo.ASurveyandComparisonofPeer-to-PeerOverlayNetworkSchemes.IEEECommunicationsSurveys&Tutorials,SecondQuarter2005A.Rowstron,P.Druschel.Pastry:Scalable,DistributedObjectLocationandRoutingforLarge-scalePeer-to-peerSystems.Proc.Middleware,2001PetarMaymounkov,DavidMazieres.Kademlia:APeer-to-PeerInformationSystemBasedontheXORMetric.In:Proc.ofthe1stInt'lWorkshoponPeer-to-PeerSystems(IPTPS2002).2002.153