題目:西爾斯商品信息處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)學(xué)號(hào)06R0438 姓名:姜毅, 專(zhuān)業(yè)za 軟件工程導(dǎo)師:程保中學(xué)院z軟件學(xué)院2008年9月工程碩士研究生學(xué)位論文題目:西爾斯商品信息處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)學(xué)號(hào)=06R0438 姓名=羞羞專(zhuān)業(yè)z軟件工程導(dǎo)師z程保中學(xué)院z軟f生學(xué)院2008年9月獨(dú)創(chuàng)性(或創(chuàng)新性)聲明本人聲明所呈交的論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝中所羅列的內(nèi)容以外，論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果，也不包含為獲得北京郵電大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均己在論文中作了明確的說(shuō)明并表示了謝意。申請(qǐng)學(xué)位論文與資料若有不實(shí)之處，本人承擔(dān)一切相關(guān)責(zé)任。本人簽名th日期G止。0，1/. J). 關(guān)于論文使用授權(quán)的說(shuō)明本人完全了解北京郵電大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，1lP:研究生在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)單位屬北京郵電大學(xué)。學(xué)校有權(quán)保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和磁盤(pán)，允許學(xué)位論文被查閱和借閱:學(xué)校可以公布學(xué)位論文的全部或部分內(nèi)容，可以允許采用影印、縮印或其它復(fù)制手段保存、匯編學(xué)位論文。本學(xué)位論文不屬于保密范圍，適用本授權(quán)書(shū)。本人簽名:j t _ 日期z二oa8, 1/. / 導(dǎo)師簽名:會(huì)以主牛日期z立001罵產(chǎn)t2一西爾斯商品信息處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)摘要隨著互聯(lián)網(wǎng)的普及，電子商務(wù)在得到快速發(fā)展的同時(shí)也改變了人們的生活方式，匯聚網(wǎng)絡(luò)信息，提供優(yōu)質(zhì)服務(wù)已是大勢(shì)所趨。本課題實(shí)現(xiàn)的是對(duì)大量的商品原始信息進(jìn)行處理，利用處理所得的數(shù)據(jù)能夠?yàn)樗樵?xún)的商品名稱(chēng)提供最佳匹配信息，引導(dǎo)消費(fèi)者購(gòu)物。論文首先明確了系統(tǒng)范圍，從系統(tǒng)的輸入到輸出將處理流程分解成若干步驟，接著對(duì)每個(gè)子功能進(jìn)行了可行性分析，提出了各處理步驟的邏輯解決方案。在細(xì)化功能性需求和非功能性需求的基礎(chǔ)之上，輸出了系統(tǒng)架構(gòu)圖，并最終將系統(tǒng)設(shè)計(jì)為任務(wù)分配服務(wù)、信息分析服務(wù)和過(guò)程監(jiān)控應(yīng)用三大模塊。其中分配服務(wù)和分析服務(wù)是系統(tǒng)的核心組成部分，保證服務(wù)能夠正常高效地運(yùn)轉(zhuǎn)是準(zhǔn)確生成平臺(tái)數(shù)據(jù)的關(guān)鍵，論文中對(duì)這兩個(gè)服務(wù)的設(shè)計(jì)思路及使用到的相關(guān)的技術(shù)進(jìn)行了詳細(xì)的論述。接著分別敘述了如何檢查實(shí)現(xiàn)的正確性和安裝部署系統(tǒng)。本系統(tǒng)利用XML描述任務(wù)內(nèi)容，利用分配服務(wù)與分析服務(wù)的自動(dòng)化處理，成功實(shí)現(xiàn)了服務(wù)間通信，同時(shí)也在主從數(shù)據(jù)庫(kù)中實(shí)現(xiàn)了數(shù)據(jù)同步。在系統(tǒng)部署過(guò)程中，嘗試以局域網(wǎng)中的PC作為分析服務(wù)的宿主。實(shí)驗(yàn)證明，這種部署方式不但大大加快了信息的處理過(guò)程，還充分利用了局域網(wǎng)中PC的處理器資源，降低了系統(tǒng)的整體運(yùn)行成本。論文最后說(shuō)明了系統(tǒng)中存在的不足和需要解決的問(wèn)題。關(guān)鍵詞:電子商務(wù)XML服務(wù)問(wèn)通信數(shù)據(jù)同步DESIGN AND IMPLE伍NTATIONOFSEARS INFORMATION PROCESSING SYSTEM FOR MERCHANDISE ABSTRACT Along with Internets popularization, while eltronic comm町CCobtains fast development, it also chang臼ppleslife style. Gathering network in島rmationand pro嘰ding由ehigh-quality serviis ultimately. This topic will rea1ize the function 由atproc臼smassive commodi可primaryinformation, and then could use the processed data to provide optimum matching information to the commodity queried, and use the mode to guide the consum町shopping.le th岱ishas a clear de缸ition曲。時(shí)也esystem-wide, and叩litsproc臼singow to several steps岳臼ninput to output，由encarn鋪也efeasibili可ana1ysisto 臼chsub-function and proposes logic solutions to each proc臼singst叩.Aft町a(chǎn)nalyzing function and non-也nctionrequirement, it forms architecture diagram where systn is consisted of thr四parts，出ey缸ebatch-s町vice，node-service and monitor applcation. The two servis are keys p缸tsin the whole syst臼ll.The由臼isus臼largequantity words to describe how to design and implement them. It a1so嚴(yán)。videsaway 曲oothow to check acc山玩買(mǎi)血現(xiàn)allthem and set configuration items. The systn us臼XMLto encapsulate tasks and starts batch-s町viceand Node Servito process work flow auto, at the same time, data is inserted into master and slave databases in order to make data synchronization in two kinds of databases. When system is d叩loyed，町toinstall node-s町viondi能rentPCs in loca1 ar創(chuàng)network. The running state proves it improves the proc臼S叩eedand uses PC CPU resource缸lly.The solution also decreases systems running st at由esame time. In the end, the th臼ispointed out issues and questions will be solved. KEY WORDS: Electronic commerce, XML, Correspondence between services, Data synchronization 目錄第-章引言.1.1課題背景.11.2課題任務(wù).11.3論文結(jié)構(gòu).2第二章開(kāi)發(fā)平臺(tái)及工具. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.1 MICROSOFf VISUAL STUDIO 2008.3 2.2.NETFRAMEWORK. 3.5.4 2.3 MYSQL.4 2.3.1 MySQL的應(yīng)用與管理.52.3.2 MySQL存儲(chǔ)引擎.52.4第三方動(dòng)態(tài)鏈接庫(kù)文件.山.62.4.1 MySql.Data.dll .6 2.4.2 OpenSmtp.dll.6 2.4.3 nw對(duì)t.岳缸nework.dll. . .6 2.5本章小結(jié).川.川.6.第三章系統(tǒng)分析與設(shè)計(jì). . . . . . . . . . . . . . . . . . . . 8 3川.1系統(tǒng)分析.二.83.1.1問(wèn)題識(shí)別.83.1.2可行性分析.93.1.3需求分析.103.2系統(tǒng)設(shè)計(jì).11 3.2.1系統(tǒng)主要模塊劃分.123.2.2系統(tǒng)用例圖.133.2.3系統(tǒng)數(shù)據(jù)庫(kù).133.3任務(wù)分配模塊的設(shè)計(jì).163.3.1預(yù)處理的設(shè)計(jì).163.3.2分配商品信息的設(shè)計(jì).-.173.3.3定時(shí)處理的設(shè)計(jì).193.3.4整理過(guò)程數(shù)據(jù)的設(shè)計(jì).203.4信息分析模塊的設(shè)計(jì).203.4.1任務(wù)池的設(shè)計(jì).213.4.2任務(wù)監(jiān)聽(tīng)的設(shè)計(jì).223.4.3處理接收信息的設(shè)計(jì).233.5過(guò)程監(jiān)控模塊的設(shè)計(jì).253.5.1處理模板文件的設(shè)計(jì).263.5.2狀態(tài)及數(shù)據(jù)監(jiān)控的設(shè)計(jì).273.6系統(tǒng)架構(gòu)圖.283.7本章小結(jié).29第四章系統(tǒng)實(shí)現(xiàn).304.1任務(wù)分配模塊的實(shí)現(xiàn).304.1.1預(yù)處理的實(shí)現(xiàn)h.304.1.2分配商品信息的實(shí)現(xiàn).314.1.3定時(shí)處理的實(shí)現(xiàn).334.1.4整理過(guò)程數(shù)據(jù)的實(shí)現(xiàn).344.2信息分析模塊的實(shí)現(xiàn).354.2.1任務(wù)池的實(shí)現(xiàn).354.2.2任務(wù)監(jiān)聽(tīng)的實(shí)現(xiàn).364.2.3處理接收信息的實(shí)現(xiàn).374.3過(guò)程監(jiān)控模塊的實(shí)現(xiàn).404.3.1處理模板文件的實(shí)現(xiàn).414.3.2狀態(tài)及數(shù)據(jù)監(jiān)控的實(shí)現(xiàn).414.4查詢(xún)平臺(tái)模擬.444.5本章小結(jié).45第五章系統(tǒng)測(cè)試.46 5.1測(cè)試方案.465.1.1單元測(cè)試.465.1.2集成測(cè)試.475.1.3系統(tǒng)測(cè)試.485.2測(cè)試用例及結(jié)果分析.485.2.1自動(dòng)處理模板文件.485.2.2任務(wù)分配.505.2.3算法分析.11 5.2.4過(guò)程監(jiān)控.505.3本章小結(jié).50第六章安裝與部署.526.1制作安裝包.526.2服務(wù)器/客戶(hù)端環(huán)境配置.546.2.1數(shù)據(jù)庫(kù)配置.546.2.2應(yīng)用程序的配置.546.3本章小結(jié).56第七章結(jié)束語(yǔ). . . . . . . . . . . . 57 7.1論文工作總結(jié).577.2問(wèn)題與展望.58111 北京郵電大學(xué)軟件工程碩士論文第一章引言1.1課題背景隨著科技進(jìn)步和社會(huì)發(fā)展，計(jì)算機(jī)軟件已普遍應(yīng)用于日常的生產(chǎn)生活。尤其是商業(yè)領(lǐng)域，軟件系統(tǒng)隨著不斷升級(jí)的應(yīng)用需求而日益龐大和復(fù)雜。同時(shí)也對(duì)軟件的設(shè)計(jì)開(kāi)發(fā)提出了更高的要求，以軟件工程的知識(shí)體系為指導(dǎo)，設(shè)計(jì)出以最小的開(kāi)發(fā)成本取得最佳的經(jīng)濟(jì)效益的軟件系統(tǒng)成為行業(yè)應(yīng)用領(lǐng)域所熱衷的課題。西爾斯擁有龐大且細(xì)致的商品信息庫(kù)和遍布全美的供應(yīng)商網(wǎng)絡(luò)，但由于數(shù)據(jù)結(jié)構(gòu)過(guò)于復(fù)雜，長(zhǎng)期以來(lái)并未能發(fā)揮出其商品信息的巨大潛力，只是單純地通過(guò)提供一個(gè)網(wǎng)絡(luò)購(gòu)買(mǎi)平臺(tái)和大量的商品信息，很容易讓訪問(wèn)者迷失在紛繁的文字和圖片的海洋中，而系統(tǒng)又缺乏對(duì)消費(fèi)者的消費(fèi)意向以及購(gòu)物行為的智能引導(dǎo)，因此雙方的有效互動(dòng)便很難達(dá)到預(yù)期的效果。所以如何改造已有的信息結(jié)構(gòu)，深層次挖掘其潛在價(jià)值便提上了議事日程.西爾斯高層深知電子商務(wù)的核心是網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)，先進(jìn)的技術(shù)及應(yīng)用在開(kāi)展電子商務(wù)中非常重要，因此希望以軟件項(xiàng)目的形式解決這一難題，將信息技術(shù)整合到企業(yè)流程最有附加價(jià)值的地方，為現(xiàn)有及潛在客戶(hù)提供全新的消費(fèi)體驗(yàn)，同時(shí)形成公司業(yè)績(jī)的新的增長(zhǎng)點(diǎn)。此次選擇的課題名為西爾斯商品信息處理系統(tǒng)，它是美國(guó)西爾斯百貨公司電子商務(wù)平臺(tái)建設(shè)工程中的一部分。通過(guò)處理從eBay和西爾斯現(xiàn)有商品庫(kù)中讀取的方式，向商品信息處理系統(tǒng)裝載商品原始信息:至于處理所得的數(shù)據(jù)如何使用，是以在購(gòu)物平臺(tái)(位于商品信息處理系統(tǒng)的上游)進(jìn)行商品名稱(chēng)的查詢(xún)?yōu)轵?qū)動(dòng)，將最佳匹配信息及鏈接呈現(xiàn)給來(lái)訪者，以此引導(dǎo)消費(fèi)。1.2課題任務(wù)論文從客戶(hù)需求出發(fā)，細(xì)致地分析了實(shí)際的業(yè)務(wù)流程，發(fā)現(xiàn)為保證查詢(xún)時(shí)能夠獲得足夠有價(jià)值的信息，快速處理完商品原始信息是關(guān)鍵。同時(shí)需要驗(yàn)證的是將這些商品原始信息分配給周域網(wǎng)中的諸多PC來(lái)處理是否是一種可操作的實(shí)現(xiàn)方式。項(xiàng)目組成員依據(jù)以往的系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，為驗(yàn)證這種解決方案提出了一系列可行的建議。該方案在具體實(shí)施過(guò)程中將完成以下工作z1.開(kāi)發(fā)出能夠?qū)⑸唐吩夹畔⒎峙涞讲煌琍C的Windows服務(wù)，并成功安裝在服務(wù)器上:北京郵電大學(xué)軟件工程碩土論文2.開(kāi)發(fā)出能夠?qū)ι唐吩夹畔⑦M(jìn)行分析的Windows服務(wù)，并成功安裝在PC上:3.開(kāi)發(fā)-個(gè)桌面應(yīng)用程序，用于監(jiān)控處理過(guò)程中數(shù)據(jù)庫(kù)狀態(tài)、機(jī)器狀態(tài)、商品信息狀態(tài)以及統(tǒng)計(jì)處理數(shù)據(jù):4.提供運(yùn)行跟蹤機(jī)制，將服務(wù)中關(guān)鍵步驟的執(zhí)行情況輸出到日志文件、運(yùn)行過(guò)程中產(chǎn)生的異常和錯(cuò)誤也反映在日志文件或者操作系統(tǒng)的事件查看器里。S.模擬在購(gòu)物平臺(tái)上進(jìn)行商品查詢(xún)的操作。系統(tǒng)預(yù)計(jì)將大幅度減輕西爾斯信息工作者的勞動(dòng)強(qiáng)度，而且在信息處理的準(zhǔn)確性上也會(huì)得到非常可靠的保障。管理者可以通過(guò)監(jiān)控界面，在服務(wù)運(yùn)行過(guò)程中手動(dòng)配置服務(wù)所使用到的各項(xiàng)功能參數(shù)和性能參數(shù)，并且修正后的配置引起的變化能及時(shí)反映在后續(xù)的處理中。完成信息處理工作的各種算法的實(shí)現(xiàn)，橫向彼此獨(dú)立，縱向則以接力棒形式陸續(xù)對(duì)商品信息進(jìn)行分析處理，為在購(gòu)物平臺(tái)上查詢(xún)的商品名稱(chēng)提供最優(yōu)的匹配信息列表。本系統(tǒng)的成功實(shí)現(xiàn)，將對(duì)具杳類(lèi)似商品信息分析需求的賣(mài)場(chǎng)/零售業(yè)系統(tǒng)在業(yè)務(wù)實(shí)現(xiàn)和系統(tǒng)架構(gòu)方面提供相當(dāng)豐富的參考價(jià)值。本人在系統(tǒng)開(kāi)發(fā)過(guò)程中擔(dān)當(dāng)了程序經(jīng)理的角色，主要負(fù)責(zé)分配服務(wù)和分析服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)、監(jiān)控功能的實(shí)現(xiàn)以及部分過(guò)程文擋的編寫(xiě)，同時(shí)協(xié)助項(xiàng)目經(jīng)理進(jìn)行項(xiàng)目的日常管理工作。1.3論文結(jié)構(gòu)論文共分7章，內(nèi)容安排如下:第一章引言。介紹課題背景、任務(wù)以及預(yù)期目標(biāo)。第二章開(kāi)發(fā)平臺(tái)及工具。介紹課題的開(kāi)發(fā)工具和相關(guān)技術(shù)。第三章系統(tǒng)分析與設(shè)計(jì)。論述系統(tǒng)分析與設(shè)計(jì)的過(guò)程。第四章系統(tǒng)實(shí)現(xiàn)。論述系統(tǒng)各組成部分的實(shí)現(xiàn)過(guò)程。第五章系統(tǒng)測(cè)試。介紹測(cè)試方案、測(cè)試用例和測(cè)試結(jié)果分析。第六章安裝與部署。介紹如何實(shí)施以及不同數(shù)據(jù)庫(kù)的配置。第七章結(jié)束語(yǔ)。對(duì)論文工作進(jìn)行總結(jié)，列出所取得成果，指出不足和改進(jìn)方向。2 北京郵電大學(xué)軟件工程碩士論文第二章開(kāi)發(fā)平臺(tái)及工具商品信息處理系統(tǒng)的核心是使分配信息服務(wù)、分析信息服務(wù)和處理過(guò)程監(jiān)控成為一個(gè)通信暢通、運(yùn)轉(zhuǎn)高效的信息處理有機(jī)體。本系統(tǒng)基于Micros。由.NET2008IDE、C#語(yǔ)言開(kāi)發(fā)，利用MySQL5.0版本數(shù)據(jù)庫(kù)組建群集作為數(shù)據(jù)存儲(chǔ)載體，并在解決方案中引入第三方動(dòng)態(tài)鏈接庫(kù)文件為系統(tǒng)功能開(kāi)友提供支持。2. 1 Microsoft Visual Studio 2008 Visual Studio 2008是以最新版本Microso由.NET框架為開(kāi)發(fā)系統(tǒng)的新一代開(kāi)發(fā)工具，幫助開(kāi)發(fā)團(tuán)隊(duì)在最新的平臺(tái)上開(kāi)發(fā)杰出的用戶(hù)體驗(yàn)、進(jìn)行靈活快速開(kāi)發(fā)、實(shí)現(xiàn)生產(chǎn)效率新突破，并使開(kāi)發(fā)團(tuán)隊(duì)更好地協(xié)作，以構(gòu)建更為優(yōu)秀的應(yīng)用程序。WindowsServer 2則是新一代WmdowsS叮ver操作系統(tǒng)，集合并強(qiáng)化了微軟歷代服務(wù)器產(chǎn)品的優(yōu)勢(shì)，在幫助專(zhuān)業(yè)人員更好地控制基礎(chǔ)設(shè)施的同時(shí)，提供前所未奇的可用性和管理功能，實(shí)現(xiàn)更安全、更可靠、更強(qiáng)大的服務(wù)器環(huán)境.這兩款產(chǎn)品的發(fā)布必將在全球范圍內(nèi)給產(chǎn)業(yè)帶來(lái)巨大的影響，引導(dǎo)業(yè)界的新一輪創(chuàng)新熱潮。戴爾、惠普、IBM以及聯(lián)想等業(yè)界合作伙伴均表達(dá)了對(duì)微軟未來(lái)產(chǎn)品及與微軟合作的堅(jiān)定信心。作為新一代開(kāi)發(fā)工具，Visual Studio 2008能幫助開(kāi)發(fā)團(tuán)隊(duì)在最新的平臺(tái)上開(kāi)發(fā)杰出的用戶(hù)體驗(yàn)，同時(shí)，通過(guò)進(jìn)行靈活快速開(kāi)發(fā)實(shí)現(xiàn)生產(chǎn)效率新突破，并使開(kāi)發(fā)團(tuán)隊(duì)更好地進(jìn)行協(xié)作:從建摸到編碼和調(diào)試，Visual Studio 2008對(duì)編程語(yǔ)言、設(shè)計(jì)器、編輯器和數(shù)據(jù)訪問(wèn)功能進(jìn)行了全面的提升，確保開(kāi)發(fā)人員克服軟件開(kāi)發(fā)難題，快速創(chuàng)建互連應(yīng)用程序；Visual Studio 28為開(kāi)發(fā)人員提供了一些新的工具，在最新的平臺(tái)上快速地構(gòu)建杰出的、高度人性化用戶(hù)體驗(yàn)的和互聯(lián)的應(yīng)用，這些最新平臺(tái)包括Web、WindowsVista、Office2007、SQLS町V町2008、WindowsMobile和WindowsServer 2008； Microsoft Visual Studio Team System 2008提供完整的工具套件和統(tǒng)一的開(kāi)發(fā)過(guò)程，適用于任何規(guī)模的開(kāi)發(fā)團(tuán)隊(duì)，幫助所有團(tuán)隊(duì)成員提高自身技能，使得開(kāi)發(fā)人員、設(shè)計(jì)人員、測(cè)試人員、架構(gòu)師和項(xiàng)目經(jīng)理更好地協(xié)同工作，縮短軟件或解決方案的交付時(shí)間。微軟公司大中華區(qū)開(kāi)發(fā)與平臺(tái)技術(shù)部總經(jīng)理NigelBurton表示VisualStudio 2008的即將發(fā)布，對(duì)開(kāi)發(fā)團(tuán)隊(duì)、企業(yè)以及整個(gè)業(yè)界來(lái)說(shuō)都有著舉足輕重的意義。它能降低軟件開(kāi)發(fā)的復(fù)雜性，提高團(tuán)隊(duì)開(kāi)發(fā)效率，并能提供杰出的用戶(hù)體驗(yàn)，特別是Web的應(yīng)用，因而大大提高客戶(hù)的滿意度。此外，Visual Studio 28 更提供了一個(gè)廣泛的可擴(kuò)展的支持體系，為企業(yè)提供統(tǒng)一的方法來(lái)檢索和更新幾3 北京郵電大學(xué)軟件工程碩士論文乎所有類(lèi)型的數(shù)據(jù)，可以說(shuō)，Visual Studio 2008已經(jīng)不僅僅是一系列開(kāi)發(fā)工具，更是具有極大商業(yè)價(jià)值和管理效用的綜合性產(chǎn)品，它將成為未來(lái)開(kāi)發(fā)團(tuán)隊(duì)賴(lài)以成功的重要開(kāi)發(fā)環(huán)境。Visual Studio 2008特別含有Expression這個(gè)軟件，可以幫助網(wǎng)頁(yè)設(shè)計(jì)人員，簡(jiǎn)化頁(yè)面的開(kāi)發(fā)過(guò)程，另外，它還引入了LINQ(Language Integrated Que可)，改進(jìn)開(kāi)發(fā)與調(diào)試。LINQ可以簡(jiǎn)單理解成為一種編程語(yǔ)言，可以簡(jiǎn)化設(shè)計(jì)者在設(shè)計(jì)過(guò)程中所要編寫(xiě)的代碼數(shù)量，從而降低工作量和成本。Visual Studio 2008目前包括VisualStudio 2008 Professonal、VisualStudio Team System 2008、VisualS陽(yáng)dioTeam Foundation Server2008三個(gè)主要版本及其它諸多細(xì)分版本，為用戶(hù)提供了全方位的選擇。2. 2 .NET Framework 3.5 Microsoft .NET Framework從1.0至3.5經(jīng)歷了數(shù)個(gè)版本的變遷，其中亦不乏重大的革新。.NETFramework 2.0引入了泛型概念，更加清晰地詮釋了面向?qū)ο缶幊痰母拍?NETFramework 3.0則加入了4個(gè)功能組件和新穎的語(yǔ)言特性.NETFramework 3.5又在編程語(yǔ)言模型中內(nèi)置LINQ數(shù)據(jù)查詢(xún)模型，并且兼容.NETFramework 2.0和.NETFramework 3.0 ，同時(shí)還提供了若干針對(duì).NETFramework 2.0和.NETFramework 3.0的修補(bǔ)程序。.NET Framework 3.5基于.NETFramework 3.0中增加的新功能，以增量方式構(gòu)建。舉例來(lái)說(shuō)，這些新功能包括WindowsWorkflow Foundation (WF)、WindowsCommunication Foundation仰CF)、WmdowsPresentation Foundation (WPF)和Windows CardSpace.此外，.NET Framework 3.5還包含若干技術(shù)領(lǐng)域中的許多新功能。這些新功能己作為新的程序集添加，以避免重大更改。這些新功能包括:非與語(yǔ)言集成查詢(xún)(LINQ)和數(shù)據(jù)感知緊密集成。利用這一新功能，將能夠通過(guò)使用相同的語(yǔ)法編寫(xiě)用啟用LINQ的語(yǔ)言編寫(xiě)的代碼，以便篩選、枚舉和創(chuàng)建多種類(lèi)型的SQL數(shù)據(jù)、集合、XML和數(shù)據(jù)集的投影。*利用ASP.NETAJAX可以創(chuàng)建更有效、更具交互性并且高度個(gè)性化的Web體驗(yàn)，這些Web體驗(yàn)可以跨所有最流行的瀏覽器工作。申新的用于生成WCF服務(wù)的Web協(xié)議支持包括AJAX、JSON、REST、POX、RSS、ATOM和若干新的WS-*標(biāo)準(zhǔn)。豐針對(duì)WF，WCF和WPF的完整工具支持，其中包括新的啟用工作流的服務(wù)技術(shù)。2.3MySQL 4 北京郵電大學(xué)軟件工程碩士論文MySQL是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，開(kāi)發(fā)者為瑞典MySQLAB公司。目前MySQL被廣泛地應(yīng)用在Internet上的各型網(wǎng)站中。由于其體積小、速度快、總體擁有成本低，尤其是開(kāi)放源碼這一特點(diǎn)而受到廣泛青睞。MySQL使用C和C+編寫(xiě)，并使用了多種編譯器進(jìn)行測(cè)試，保證源代碼的可移植性:支持AIX、FreeBSD、HP-UX、Linux、MacOS、NovellNetware、OpenBSD、OS/2Wrap、Solaris、Windows等多種操作系統(tǒng):為多種編程語(yǔ)言CC、C+、Eiffel、Java、Perl、PHP、Python、Ruby和Tcl等)提供了API；支持多線程，充分利用CPU資源:優(yōu)化的SQL查詢(xún)算法，有效地提高查詢(xún)速度:既能夠作為一個(gè)單獨(dú)的應(yīng)用程序應(yīng)用在客戶(hù)端服務(wù)器網(wǎng)絡(luò)環(huán)境中，也能夠作為一個(gè)庫(kù)而嵌入到其他的軟件中提供多語(yǔ)言支持，常見(jiàn)的編碼如中文的GB2312、BIG5，日文的ShiftJIS等都可以用作數(shù)據(jù)表名和數(shù)據(jù)列名:提供TCPIIP、ODBC和JDBC等多種數(shù)據(jù)庫(kù)連接途徑:提供用于管理、檢查、優(yōu)化數(shù)據(jù)庫(kù)操作的管理工具并且可以處理?yè)碛猩锨f(wàn)條記錄的大型數(shù)據(jù)庫(kù)。MySQL公司目前在同時(shí)開(kāi)發(fā)兩個(gè)版本的軟件，4.1版以及5.0版。MySQL4.1版本中增加了不少新的性能，包括對(duì)主鍵的更高速度的緩存，對(duì)子查詢(xún)的更好的支持，以及基于地理信息的查詢(xún).而其同步開(kāi)發(fā)的5.0版本則把目標(biāo)對(duì)準(zhǔn)了企業(yè)用戶(hù)，對(duì)于4.1版本中的所有新特性，5.0版本悉數(shù)收入囊中，并且獨(dú)具以下特點(diǎn)z對(duì)外鍵的良好支持z系統(tǒng)自動(dòng)捕錯(cuò)機(jī)制以及對(duì)存儲(chǔ)過(guò)程充分支持。2.3.1 MySQL的應(yīng)用與管理MySQL的應(yīng)用包括z單點(diǎn)(Single)，適合小規(guī)模應(yīng)用:復(fù)制(R叩lication)，適合中小規(guī)模應(yīng)用:集群(Clust時(shí)，適合大規(guī)模應(yīng)用。與其他的大型數(shù)據(jù)庫(kù)例如Oracle、DB2，SQL Serv叮等相比，MySQL自杳它的不足之處，但是這絲毫也沒(méi)有減少它受歡迎的程度。對(duì)于一般應(yīng)用來(lái)說(shuō)，MySQL提供的功能己經(jīng)綽綽有余，而且由于MySQL是開(kāi)放源碼軟件，因此可以大大降低總體擁有成本。同時(shí)，MySQL的管理方式也非常豐富。可以使用命令行工具管理MySQL數(shù)據(jù)庫(kù)(命令mysql和mysqla，出血時(shí)，也可以從MySQL的網(wǎng)站下載圖形管理工具M(jìn)ySQLA缸rinistrator和MySQLQuery Brows目進(jìn)行日常管理與維護(hù)。2.3.2 MySQL存儲(chǔ)引擎MyISAM: Mysql的默認(rèn)數(shù)據(jù)庫(kù)，最為常用。擁有較高的插入，查詢(xún)速度，但不支持事務(wù)。InnoDB:事務(wù)型數(shù)據(jù)庫(kù)的首選引擎，支持ACID事務(wù)，支持行級(jí)鎖定。BDB:源自B町keleyDB，事務(wù)型數(shù)據(jù)庫(kù)的另一種選擇，支持COMMIT和5 北京郵電大學(xué)軟件工程碩士論文ROLLBACK等其他事務(wù)特性。Memory:所有數(shù)據(jù)置于內(nèi)存的存儲(chǔ)引擎，擁有極高的插入，更新和查詢(xún)效率。但是會(huì)占用和數(shù)據(jù)量成正比的內(nèi)存空間。并且其內(nèi)容會(huì)在My.噸1重新啟動(dòng)時(shí)丟失。Merge:將一定數(shù)量的MyISAM表聯(lián)合而成一個(gè)整體，在超大規(guī)模數(shù)據(jù)存儲(chǔ)時(shí)很有用。Archive:非常適合存儲(chǔ)大量的獨(dú)立的，作為歷史記錄的數(shù)據(jù)。因?yàn)樗鼈儾唤?jīng)常被讀取。Archive擁有高效的捕入速度，但其對(duì)查詢(xún)的艾持相對(duì)較差eFederated:將不同的Mysql服務(wù)器聯(lián)合起來(lái)，邏輯上組成一個(gè)完整的數(shù)據(jù)庫(kù)。非常適合分布式應(yīng)用。ClusterlNDB:高冗余的存儲(chǔ)引擎，用多臺(tái)數(shù)據(jù)機(jī)器聯(lián)合提供服務(wù)以提高整體性能和安全性。適合數(shù)據(jù)量大，安全和性能要求高的應(yīng)用。CSV:邏輯上由逗號(hào)分割數(shù)據(jù)的存儲(chǔ)引擎。Blac趾Iole:黑洞引擎，寫(xiě)入的任何數(shù)據(jù)都會(huì)消失，一般用于記錄binlog做復(fù)制的中繼。另外，Mysql的存儲(chǔ)引擎接口定義良好。開(kāi)發(fā)者可以編寫(xiě)自己的存儲(chǔ)引擎。2.4第三方動(dòng)態(tài)鏈接庫(kù)文件以下第三方引用在項(xiàng)目中分別用于數(shù)據(jù)訪問(wèn)層，業(yè)務(wù)邏輯層以及編碼/單元測(cè)試。2. 4. 1 MySql.Data.dU MySql.Data.dll是.Net訪問(wèn)MySQL數(shù)據(jù)庫(kù)的一個(gè)驅(qū)動(dòng)，完全A.NET數(shù)據(jù)訪問(wèn)模式，由MySQL官方提供，有多個(gè)版本可選擇最早使用的環(huán)境為.Net2.0+ MySQL5.x + MySQL.da:幅.dll1.0工隨著系統(tǒng)升級(jí)和版本的更新，現(xiàn)在最新版本分別是1.0.10 , 5.0.8 , 5.1.份。其中ConnectionTimeout和CommandTimeout等屬性均為開(kāi)發(fā)者提供了可讀可寫(xiě)操作，而最初版本只提供只讀操作。2. 4. 2 OpenSmtp.dU 該文件來(lái)源于OpenSMTP.NET這個(gè)開(kāi)源的組件，OpenS是一款用CSharp編寫(xiě)的開(kāi)源SMTP組件。它并不依賴(lài)與.NETFramework里的Systern. Web.Mail類(lèi)，而且還具有以HTTP方式發(fā)送郵件的Web服務(wù)功能。2.4.3 nunit.framework.dU 6 北京郵電大學(xué)軟件工程碩士論文該文件來(lái)源于NUnit框架。NUnit是一款堪與JUnit齊名的開(kāi)源的回歸測(cè)試框架，供.net開(kāi)發(fā)人員做單元測(cè)試之用，可以從網(wǎng)站上免費(fèi)獲得。在下載時(shí)，會(huì)看到NUnit2.2.0版有NUnit-2.2.0.rnsi、NUnit-2.2.0-rnono且p、NUnit-2.2.0咽口ip等三個(gè)文件的下載連接，分別是WIN(供.net平臺(tái)使用)、MONO (供MONO平臺(tái)使用)以及SRC(源碼)0 NUnit-2.2.0-rnono.zip壓縮包中己含有源碼，下載NUnit-2.2.0-rnono.zip后，可將該文件解壓備用。當(dāng)編寫(xiě)用于測(cè)試的類(lèi)后，可以繼續(xù)編寫(xiě)與之對(duì)應(yīng)的測(cè)試用例。在NUnit中，用來(lái)實(shí)現(xiàn)測(cè)試用例的方法有兩種手段進(jìn)行標(biāo)識(shí):一個(gè)是以tes僅虹的格式來(lái)命名，一個(gè)是使用Test屬性進(jìn)行標(biāo)識(shí)。此外，還有Init和Dispose這兩個(gè)方法，并分別使用TestFixtureSetUp和TestFixtureTearDown屬性來(lái)進(jìn)行標(biāo)識(shí)，前者在每個(gè)測(cè)試方法開(kāi)始之前執(zhí)行，多用來(lái)做初始化:后者在每個(gè)測(cè)試方法完成之后執(zhí)行，多用來(lái)清理資源。注意，這兩個(gè)方法的名稱(chēng)并沒(méi)有什么限制，但必須用TestFixtureSetUp和TestFixtureTearDown屬性進(jìn)行標(biāo)識(shí)。2.5本章小結(jié)目前應(yīng)用于企業(yè)級(jí)項(xiàng)目的主流開(kāi)發(fā)平臺(tái)有Micr回0茸的.NET和Sun的J2EE，兩種平臺(tái)都有各自與之搭配的最新開(kāi)發(fā)語(yǔ)言和數(shù)據(jù)庫(kù)產(chǎn)品。作為世界最優(yōu)秀的軟件公司，Microsoft近年來(lái)不斷推出賦予新特性的開(kāi)發(fā)平臺(tái)和相關(guān)技術(shù)為用戶(hù)帶來(lái)了從視覺(jué)到細(xì)節(jié)的全新體驗(yàn)。從MSVS28支持和優(yōu)化不同項(xiàng)目類(lèi)型的解決方案、.NETFramework 3.5強(qiáng)大的支持類(lèi)庫(kù)、C#3.0從語(yǔ)言和編譯器的角度提供了更易于理解和使用的編程特性和MySQL數(shù)據(jù)庫(kù)開(kāi)放源碼以及使用成本優(yōu)勢(shì)等方面來(lái)看，都為系統(tǒng)的開(kāi)發(fā)與應(yīng)用提供充分的支持和保障。7 北京郵電大學(xué)軟件工程碩士論文第三章系統(tǒng)分析與設(shè)計(jì)系統(tǒng)分析是根據(jù)用戶(hù)的要求，運(yùn)用科學(xué)的方法提出問(wèn)題和解決問(wèn)題的過(guò)程，是軟件開(kāi)發(fā)前期的重要工作。系統(tǒng)設(shè)計(jì)是在系統(tǒng)分析的工作成果上將進(jìn)行概要設(shè)計(jì)以及詳細(xì)設(shè)計(jì)的工作。在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，不僅要考慮軟件的功能性需求，還要考慮非功能性需求，比如軟件的安全性、可靠性、可擴(kuò)展性、可維護(hù)性、是否易于使用等。3.1系統(tǒng)分析系統(tǒng)分析在充分認(rèn)識(shí)原信息系統(tǒng)的基礎(chǔ)上，完成新系統(tǒng)的邏輯模型設(shè)計(jì)，解決系統(tǒng)做什么的問(wèn)題。這項(xiàng)工作在很大程度上決定了系統(tǒng)開(kāi)發(fā)工作的成敗。3.1.1問(wèn)題識(shí)別問(wèn)題識(shí)別的基本任務(wù)就是明確系統(tǒng)要做什么、解決的問(wèn)題是什么。原有的西爾斯系統(tǒng)與客戶(hù)的期望還有很大的差距，具體表現(xiàn)在:1.現(xiàn)有的商品信息的管理定位在日常維護(hù)方面，包括新增、修改、刪除、導(dǎo)入導(dǎo)出等基本功能；2.需要處理的商品信息來(lái)源不一，卻沒(méi)有統(tǒng)一的格式定義，即使全部獲得也無(wú)法直接使用:3.現(xiàn)有的商品信息需要經(jīng)過(guò)二次加工才能達(dá)到可以處理的要求。帶來(lái)的問(wèn)題是，對(duì)于有變化的商品信息，需要同時(shí)在維護(hù)系統(tǒng)和二次加工前進(jìn)行更新方可處理，效率低下:4.目前二次加工的過(guò)程不是自動(dòng)處理的過(guò)程，需要消耗大量的人力資源去完善二次加工的模板。由于信息量巨大，所以只能是人工有選擇性地處理部分商品信息，影響了信息處理后的相互間關(guān)聯(lián)性，導(dǎo)致有價(jià)值的信息不足；5.每天涉及到大量的商品信息變更，緩慢的處理速度瓶頸越來(lái)越明顯。以上這些現(xiàn)狀是不能滿足消費(fèi)者在查詢(xún)商品時(shí)能夠獲得最佳匹配信息要求的。因此，就需要商品信息處理系統(tǒng)能在商品信息準(zhǔn)備和信息處理數(shù)據(jù)的使用之前能起到承上啟下的作用，通過(guò)商品信息生成器(另行開(kāi)發(fā))對(duì)原始商品信息進(jìn)行二次加工，形成具有統(tǒng)一信息格式的商品信息，快速地完成商品原始信息的處理過(guò)程，用完整詳盡的數(shù)據(jù)支持前臺(tái)消費(fèi)者的查詢(xún)操作，解決目前存在的諸多問(wèn)題。同時(shí)，自動(dòng)化的處理過(guò)程可以裁撤人工處理的環(huán)節(jié)，從而節(jié)省系統(tǒng)運(yùn)行的整體成本。8 北京郵電大學(xué)軟件工程碩士論文3.1.2可行性分析可行性分析是普遍采用的一種研究工程項(xiàng)目是否可行的科學(xué)。它通過(guò)各種有效的方法，對(duì)工程項(xiàng)目進(jìn)行分析，從技術(shù)、經(jīng)濟(jì)效益、財(cái)務(wù)等方面加以評(píng)價(jià)，最終給決策者提供是否可以對(duì)該項(xiàng)目進(jìn)行投資的依據(jù)?？尚行苑治鲆塾诂F(xiàn)有資源的有效利用，提出多種選擇方案，并對(duì)各種方案作經(jīng)濟(jì)比較，站在中立客觀的立場(chǎng)上得出結(jié)論。為了解決上述遺留問(wèn)題，西爾斯已經(jīng)完成了商品信息生成器的開(kāi)發(fā)。目前客戶(hù)方所能提供的資源有:*足夠的高硬件配置的服務(wù)器用于支持商品信息處理系統(tǒng):*西爾斯局域網(wǎng)中的所有PC；*內(nèi)部己經(jīng)用于維護(hù)西爾斯商品信息的MySQL數(shù)據(jù)庫(kù)和維護(hù)系統(tǒng)，用于部分信息的參照比對(duì):*商品信息生成器。根據(jù)上述的軟硬件環(huán)境，結(jié)合需要解決的問(wèn)題，共提出了三種可行的備選解決方案=1.使用DigipedeNetwork套裝軟件這是在市場(chǎng)上已經(jīng)使用的一套覆蓋服務(wù)器、數(shù)據(jù)庫(kù)、客戶(hù)端部署的解決方案，由美國(guó)DigipedeNetwork公司開(kāi)發(fā)，共四部分組成zDigipedeAg四s一可以管理Nod臼以及運(yùn)行其上的任務(wù)。TheDigi網(wǎng)eServer一控制系統(tǒng)的工作流程。Di國(guó)pedeC侃.trol一運(yùn)行在服務(wù)器上的Web應(yīng)用，提供對(duì)系統(tǒng)的可管理的UI。The Digipede Workbench一通過(guò)它用戶(hù)可定制并運(yùn)行任務(wù)。該軟件的功能組合有理論上可以實(shí)現(xiàn)對(duì)系統(tǒng)的提出的功能，但同時(shí)也會(huì)增加一個(gè)Web應(yīng)用和一個(gè)SQLS即町2005數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)是Digipede的基礎(chǔ)，表結(jié)構(gòu)相當(dāng)復(fù)雜，還有相當(dāng)數(shù)量的有關(guān)實(shí)現(xiàn)邏輯的存儲(chǔ)過(guò)程及視圖，對(duì)Web和數(shù)據(jù)庫(kù)的維護(hù)人員要求很高。2.基于DigipedeNetwork提供的接口文件開(kāi)發(fā)這種方案的好處是無(wú)需整體購(gòu)買(mǎi)DigipedeN etwork的套裝軟件，可以節(jié)省部分正版軟件購(gòu)買(mǎi)費(fèi)用，開(kāi)發(fā)人員通過(guò)對(duì)相關(guān)資料的研究可以進(jìn)行二次開(kāi)發(fā)。但由于部分DLL文件將對(duì)MSSQL Serv町操作的語(yǔ)句和相關(guān)函數(shù)的使用嵌入其中，所以仍需使用到SQLServ町25數(shù)據(jù)庫(kù)。3.自主開(kāi)發(fā)由開(kāi)發(fā)人員自行分析系統(tǒng)的需求，并完成設(shè)計(jì)與實(shí)現(xiàn)。利用MySQL開(kāi)源的優(yōu)勢(shì)，無(wú)需增加購(gòu)買(mǎi)其它軟件的費(fèi)用，同時(shí)也與原有系統(tǒng)的數(shù)據(jù)庫(kù)類(lèi)型保持一致，9 北京郵電大學(xué)軟件工程碩士論文避免數(shù)據(jù)遷移過(guò)程中因數(shù)據(jù)類(lèi)型定義不一而導(dǎo)致數(shù)據(jù)無(wú)法使用。總體看來(lái)，第一種方案相對(duì)快捷，但在成本和擴(kuò)展性上處于劣勢(shì):第二種方案在軟件購(gòu)買(mǎi)成本上優(yōu)于第一種，但開(kāi)發(fā)人員需要專(zhuān)門(mén)研究DigipedeN etwork的API，部分定制功能的實(shí)現(xiàn)有可能受到制約:第三種方法由于是自主開(kāi)發(fā)，實(shí)現(xiàn)和擴(kuò)展相對(duì)更為靈活方便，且無(wú)需增加額外的正版軟件購(gòu)買(mǎi)和維護(hù)費(fèi)用，因此作為首選的解決方案。3.1.3需求分析需求分析過(guò)程是軟件工程中的一個(gè)重要的部分，它是保證項(xiàng)目滿足客戶(hù)需求和軟件產(chǎn)品設(shè)計(jì)與實(shí)現(xiàn)的前提，是使項(xiàng)目圓滿完成的必要條件。分析的根本目的是在開(kāi)發(fā)者和客戶(hù)之間建立一種理解和溝通的機(jī)制，不受技術(shù)方案或細(xì)節(jié)的限制。在分析階段，不應(yīng)該過(guò)多考慮代碼和程序的問(wèn)題。因此，它是邁向真正理解需求的和所要設(shè)計(jì)的系統(tǒng)的第一步。根據(jù)客戶(hù)的設(shè)想，一旦商品信息生成器開(kāi)始工作，每時(shí)每刻都可能會(huì)有大量的商品原始信息裝載到系統(tǒng)數(shù)據(jù)庫(kù)，需要及時(shí)處理這些信息。商品信息生成器的完成，解決了不同來(lái)源的商品信息的二次加工和格式不統(tǒng)一的問(wèn)題，因此當(dāng)前焦點(diǎn)自然就集中在裝載后的商品信息自動(dòng)化處理上了，需要重新設(shè)計(jì)實(shí)現(xiàn)對(duì)商品信息的處理方法，改變由大量人工參與的執(zhí)行方式?，F(xiàn)在要做的是將這些信息看作是待處理的任務(wù)，由管理員負(fù)責(zé)分配給局域網(wǎng)中的不同PC去完成。在分配開(kāi)始前，需要確定可以用于處理的機(jī)器，以及每臺(tái)機(jī)器設(shè)置最大處理任務(wù)數(shù)和并發(fā)處理任務(wù)數(shù)，并且可以在分配開(kāi)始后的任意時(shí)刻增加新機(jī)器和刪除老機(jī)器。分配開(kāi)始后，所有的PC既可以被動(dòng)地接收商品信息也可以主動(dòng)去取分配給它的信息來(lái)處理。在服務(wù)器和PC都開(kāi)始工作后，需要有一個(gè)桌面應(yīng)用程序的負(fù)責(zé)監(jiān)控處理過(guò)程中信息任務(wù)分配的狀況、PC處理的進(jìn)度、數(shù)據(jù)庫(kù)連接是否良好、分配和處理過(guò)程所產(chǎn)生的錯(cuò)誤和異常等信息。另外，桌面程序也要支持分配商品信息給PC的功能的操作以及維護(hù)分配和處理過(guò)程中用到的各種性能參數(shù)和功能參數(shù)。處理后的數(shù)據(jù)應(yīng)當(dāng)較原來(lái)在實(shí)時(shí)性和完整性?xún)煞矫嬗辛撕艽蟮奶岣撸瑢?duì)消費(fèi)者在位于下一環(huán)節(jié)購(gòu)物平臺(tái)上查詢(xún)商品時(shí)提供最優(yōu)的匹配信息及鏈接，從而引導(dǎo)消費(fèi)?；谖鳡査闺娮由虅?wù)平臺(tái)系統(tǒng)的整體構(gòu)建需求，對(duì)現(xiàn)有環(huán)境進(jìn)行綜合分析后，設(shè)計(jì)出的數(shù)據(jù)流圖如圖3-1所示。10 北京郵電大學(xué)軟件工程碩士論文|e問(wèn)網(wǎng)脅|時(shí)|品t已裝毒t商品信息國(guó)3-1數(shù)據(jù)流圖巴蟲(chóng)i 從數(shù)據(jù)流圈中可以看出，西爾斯與消費(fèi)者之間的交互是通過(guò)商品信息生成器、商品信息處理系統(tǒng)和購(gòu)物平臺(tái)三者的協(xié)作來(lái)完成的，商品信息處理系統(tǒng)在其中起到承上啟下的作用西爾斯日常維護(hù)的商品信息和eBay上的商品信息都有各自的組織形式，商品信息生成器的作用就是加工來(lái)源不同的商品信息并形成統(tǒng)一格式的記錄裝載進(jìn)商品信息處理系統(tǒng).處理系統(tǒng)將處理后的數(shù)據(jù)存入處理信息庫(kù)中，供購(gòu)物平臺(tái)使用。購(gòu)物者登錄平臺(tái)后，以查詢(xún)商品名稱(chēng)的方式調(diào)用已經(jīng)處理的商品信息，并將最匹配的文字、圖片、視頻和鏈接等信息展現(xiàn)在圖形用戶(hù)界面上，引導(dǎo)消費(fèi)者購(gòu)物。3.2系統(tǒng)設(shè)計(jì)系統(tǒng)設(shè)計(jì)是在系統(tǒng)分析提出的邏輯模型的基礎(chǔ)上，科學(xué)合理地進(jìn)行物理模型的設(shè)計(jì)。與邏輯模型主要確定系統(tǒng)做什么不同，物理模型主要解決的是怎樣做的問(wèn)題。從系統(tǒng)分析到系統(tǒng)設(shè)計(jì)是一個(gè)由抽象到具體的過(guò)程，有時(shí)并沒(méi)有明確的界限，甚至可能有反復(fù)。經(jīng)過(guò)系統(tǒng)設(shè)計(jì)，設(shè)計(jì)人員應(yīng)能為程序開(kāi)發(fā)人員提供完整清楚的設(shè)計(jì)文檔，并對(duì)設(shè)計(jì)規(guī)范中不清楚的地方做出解釋。課題基于西爾斯電子商務(wù)平臺(tái)建設(shè)這個(gè)大背景的設(shè)想，從圖3-1所示數(shù)據(jù)流圖中的商品信息處理環(huán)節(jié)入手進(jìn)行分析、設(shè)計(jì)與實(shí)現(xiàn)。因此，本章設(shè)計(jì)部分的內(nèi)容主要針對(duì)商品信息處理系統(tǒng)的設(shè)計(jì)工作中的總體設(shè)計(jì)、數(shù)據(jù)設(shè)計(jì)和處理過(guò)程設(shè)計(jì)加以論述。11 北京郵電大學(xué)軟件工程碩士論文3.2.1系統(tǒng)主要模塊劃分從功能上劃分，本系統(tǒng)可以分成三個(gè)模塊，如圖3-2所示。商晶信息處理系統(tǒng)過(guò)程監(jiān)控模塊信息分析?？旆峙淙蝿?wù)?？鞝顟B(tài)數(shù)據(jù)監(jiān)控處理商品樓板處理接收信息任務(wù)監(jiān)聽(tīng)初始化任務(wù)地整理過(guò)程數(shù)據(jù)定時(shí)處理分配商品信息預(yù)處理圖3-2系統(tǒng)模塊劃分1、任務(wù)分配模塊。該模塊主要包括za)預(yù)處理操作:記錄分配開(kāi)始時(shí)間、加載配置信息、更新商品處理狀態(tài)、統(tǒng)計(jì)不同商品的數(shù)量。b)分配商品信息z確定各分配批次的處理機(jī)器，篩選出該批次將被處理的商品記錄，并將這些記錄與機(jī)器進(jìn)行綁定，形成各批次不同機(jī)器的任務(wù)隊(duì)列:c)定時(shí)處理操作:該功能包括定時(shí)進(jìn)行郵件發(fā)送、部分歷史數(shù)據(jù)刪除和數(shù)據(jù)恢復(fù)上等操作:d)整理過(guò)程數(shù)據(jù):當(dāng)任務(wù)完成后，將有關(guān)任務(wù)編排的中間過(guò)程數(shù)據(jù)清除，將任務(wù)隊(duì)列表中的任務(wù)數(shù)控制在一定范圍內(nèi)。2、信息分析模塊。該模塊主要包括:a)創(chuàng)建任務(wù)池:初始化本機(jī)任務(wù)池，用以管理本機(jī)處理的所有任務(wù)；b)新任務(wù)監(jiān)聽(tīng):機(jī)器在設(shè)定端口監(jiān)昕是否有新任務(wù)到來(lái)，有則轉(zhuǎn)入處理接收信息的流程:12 北京郵電大學(xué)軟件工程碩士論文c)處理接收信息:機(jī)器最初是以被動(dòng)接收的方式處理分配給本機(jī)的商品信息的。若機(jī)器處理迅速，在下一輪任務(wù)到來(lái)前已經(jīng)完成所有任務(wù)，那么機(jī)器也可主動(dòng)地取任務(wù)隊(duì)列中已經(jīng)分配給本機(jī)的信息進(jìn)行分析，保證處理的連續(xù)性:3、過(guò)程監(jiān)控模塊。該模塊主要包括:a)處理商品模板z由客戶(hù)提供16份模板文件，利用信息分析模塊的功能先行處理。處理所得的數(shù)據(jù)將在后續(xù)商品信息處理時(shí)被使用；b)狀態(tài)及數(shù)據(jù)監(jiān)控:該功能包括監(jiān)控任務(wù)分配和處理過(guò)程中所使用到的數(shù)據(jù)庫(kù)是否保證連接暢通、所有參與處理的機(jī)器是否能夠正常工作、商品信息當(dāng)前的處理階段、產(chǎn)生的錯(cuò)誤以及整體處理進(jìn)度等數(shù)據(jù)。3.2.2系統(tǒng)用倒圈系統(tǒng)用例圖基本能反映出系統(tǒng)所提供的功能，主要的參與角色有服務(wù)器管理員、終端PC。如圖3-3所示.監(jiān)控注穗世據(jù)圖3-3系統(tǒng)用例圍從上圖中可以看出，管理員可以維護(hù)系統(tǒng)中的配置信息，并對(duì)分配任務(wù)進(jìn)行管理，當(dāng)任務(wù)分配開(kāi)始時(shí)，就可以監(jiān)控處理過(guò)程中的狀態(tài)和數(shù)據(jù)。分配任務(wù)的功能主要是將未處理的商品信息與可利用的機(jī)器進(jìn)行綁定，并觸發(fā)不同的終端PC處理分配到本機(jī)的商品信息。3.2.3系統(tǒng)數(shù)據(jù)庫(kù)對(duì)該系統(tǒng)數(shù)據(jù)庫(kù)的要求有別于其它系統(tǒng)，客戶(hù)要求的要求是z*將基礎(chǔ)信息、商品信息、任務(wù)信息與處理后所得的信息分庫(kù)存放:豐對(duì)于處理所得的信息，根據(jù)商品類(lèi)型的不同也需要分庫(kù)存放:申鑒于處理后的信息的重要性，在處理過(guò)程中需要將同樣的過(guò)程數(shù)據(jù)再次分13 北京郵電大學(xué)軟件工程碩士論文庫(kù)存放。因此在數(shù)據(jù)庫(kù)設(shè)計(jì)過(guò)程中，主要從結(jié)構(gòu)和性能兩方面著手。將系統(tǒng)所用到的數(shù)據(jù)庫(kù)分為7組，共計(jì)12個(gè)，如圖3-4所示，它們分別是:Comctl組(中心數(shù)據(jù)庫(kù)，存放基礎(chǔ)信息，1個(gè))； Batch組(司職任務(wù)分配，1個(gè))； Node組(商品信息數(shù)據(jù)庫(kù)，2個(gè))； Arc組(算法數(shù)據(jù)庫(kù)，2個(gè)): Concept組為Query查詢(xún)提供數(shù)據(jù)，2個(gè)): Context組(為B-Query查詢(xún)提供數(shù)據(jù)，2個(gè))Widget組(為Java團(tuán)隊(duì)提供數(shù)據(jù)，2個(gè))?；仵嗟膄orma憂X1_schema回國(guó)arc:-lE iI arc-2 囚fIbatl:h 臼噩mt1回.CCIIlQi!Pt-l l回回階2囚acor也xt-l回con1Ext-2 回國(guó)my叫l(wèi)回疆n:ide-l因S耐8-2自g田t回疆w盹181Elw眈18曰圖3-4系統(tǒng)數(shù)據(jù)庫(kù)(MySQL自帶數(shù)據(jù)庫(kù)除外)各組內(nèi)的數(shù)據(jù)庫(kù)結(jié)構(gòu)保持一致，各組間又彼此保持獨(dú)立，部分表結(jié)構(gòu)及表間關(guān)系如圖3-5所示.所以提出的數(shù)據(jù)庫(kù)設(shè)計(jì)方案支持最多可以部署在12臺(tái)不同的數(shù)據(jù)庫(kù)服務(wù)器上。14 北京郵電大學(xué)軟件工程碩士論文困3-5數(shù)據(jù)點(diǎn)設(shè)計(jì)片段考慮到實(shí)現(xiàn)及將來(lái)的應(yīng)用中會(huì)使用到數(shù)據(jù)庫(kù)的連接信息和數(shù)據(jù)庫(kù)的部署數(shù)量，設(shè)計(jì)時(shí)約定這些數(shù)據(jù)庫(kù)中只有基礎(chǔ)數(shù)據(jù)庫(kù)的連接信息對(duì)外公開(kāi)，其余數(shù)據(jù)庫(kù)連接信息均保存在基礎(chǔ)數(shù)據(jù)庫(kù)的集群表中，對(duì)基礎(chǔ)數(shù)據(jù)庫(kù)的使用賬號(hào)只保留讀數(shù)據(jù)權(quán)限，且不可訪問(wèn)集群表，保證各數(shù)據(jù)庫(kù)連接信息的安全。當(dāng)有大量數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)時(shí)，以萬(wàn)條記錄為單位進(jìn)行提交:一般情況下，進(jìn)行數(shù)據(jù)讀操作時(shí)，保證千萬(wàn)數(shù)據(jù)級(jí)單表查詢(xún)3秒內(nèi)結(jié)果響應(yīng)、千萬(wàn)數(shù)據(jù)級(jí)表關(guān)聯(lián)查詢(xún)7秒內(nèi)結(jié)果響應(yīng)。在設(shè)計(jì)表時(shí)，每張數(shù)據(jù)表中都設(shè)有主鍵，并對(duì)頻繁查詢(xún)的表的字段有針對(duì)性地使用了普通索引和組合索引，結(jié)合索引的使用原則與優(yōu)化方式，提高大數(shù)量情況下的查詢(xún)速度:在有邏輯關(guān)系表與表之間，都設(shè)有約束關(guān)系:由于各個(gè)數(shù)據(jù)庫(kù)的具體部署位置不確定，所以存儲(chǔ)過(guò)程中涉及到跨數(shù)據(jù)庫(kù)表的操作就無(wú)法按照部署在同一機(jī)器上的庫(kù)名.表明的方式書(shū)寫(xiě)，因此寧可增加實(shí)現(xiàn)的復(fù)雜度也必須保證存儲(chǔ)過(guò)程中的表的獨(dú)立性，簡(jiǎn)言之就是數(shù)據(jù)表跟著數(shù)據(jù)庫(kù)走，存儲(chǔ)過(guò)程里出現(xiàn)的表必須在當(dāng)前數(shù)據(jù)庫(kù)中，不同庫(kù)中的表必須摒棄。15 北京郵電大學(xué)軟件工程碩士論文3.3任務(wù)分配模塊的設(shè)計(jì)任務(wù)分配是系統(tǒng)的核心模塊，主要包括分配開(kāi)始前的數(shù)據(jù)準(zhǔn)備、分配任務(wù)過(guò)程中的流程、任務(wù)在完成后對(duì)部分中間數(shù)據(jù)的整理和一些需要做定時(shí)處理的操作。該模塊的輸入是以artifact為前綴的數(shù)據(jù)表中商品狀態(tài)值為未完成處理的商品記錄以及機(jī)器表中機(jī)器狀態(tài)值為可以工作的機(jī)器記錄。目標(biāo)是讓每一條未處理的商品信息與一臺(tái)可利用的機(jī)器在任務(wù)隊(duì)列表中關(guān)聯(lián)并保存，并以發(fā)送任務(wù)的形式觸發(fā)機(jī)器處理接收信息。該模塊在分配任務(wù)期間，還必須定時(shí)地進(jìn)行其它的一些處理工作，每次處理的時(shí)間間隔都是可以維護(hù)的，比如將分配處理過(guò)程中產(chǎn)生的錯(cuò)誤信息以郵件的方式發(fā)送給不同角色的人員、清理過(guò)期數(shù)據(jù)和執(zhí)行數(shù)據(jù)恢復(fù)操作。設(shè)計(jì)后的該模塊活動(dòng)圖如圖3-6所示。分配任務(wù)困3-6任務(wù)分配活動(dòng)圖3.3.1預(yù)處理的設(shè)計(jì)16 e 北京郵電大學(xué)軟件工程碩士論文預(yù)處理是指在正式開(kāi)始分配任務(wù)前所做的一組操作，具體的執(zhí)行過(guò)程大致可以設(shè)計(jì)為以下三個(gè)步驟:1)預(yù)處理的工作是記錄下本輪分配的開(kāi)始時(shí)間，在所有任務(wù)完成后再記錄下結(jié)束時(shí)間，便于統(tǒng)計(jì)處理完本輪的任務(wù)數(shù)量所花費(fèi)的時(shí)間。2)從配置表中加載分配過(guò)程中要用到的配置信息到內(nèi)存中。存儲(chǔ)這些相對(duì)固定的參數(shù)值的都是一次加載便可多次使用的全局性變量，目的是避免多次訪問(wèn)配置信息表.3)最后需要考慮到的是分配過(guò)程中商品記錄的狀態(tài)值問(wèn)題.為保證信息能夠快速處理，該模塊的功能在啟動(dòng)后將是一個(gè)可以連續(xù)分配任務(wù)的過(guò)程，同時(shí)也是一個(gè)可以控制的過(guò)程。必須保證管理員可以根據(jù)需要在任意時(shí)間啟動(dòng)或者是終止分配動(dòng)作，而對(duì)所有商品的后續(xù)處理不產(chǎn)生影響。比如，一些機(jī)器在信息處理過(guò)程中由于各種原因?qū)е绿幚碇袛?，因此商品狀態(tài)將會(huì)始終保持10Process狀態(tài)，而在新一輪分配開(kāi)始后需要將這些信息分配給其它機(jī)器去處理，所以必須將狀態(tài)置為待處理方能繼續(xù)處理。該子模塊用到的數(shù)據(jù)表如表3-所示z表3-1系統(tǒng)配置表(sysconfigparam )結(jié)構(gòu)字段名類(lèi)型說(shuō)明Name varchar (64) 主鍵，配置項(xiàng)名稱(chēng)Yal l1e varchar(64) 配置項(xiàng)的值Description varchar(512) 配置想描遙信息.包括配l置值的類(lèi)型和用途。3.3.2分配商晶倩息的設(shè)計(jì)該系統(tǒng)的主要功能是處理商品信息，商品信息雖因類(lèi)型不同分散地存儲(chǔ)在不同的商品表中，但這些表的表結(jié)構(gòu)卻基本保持了一致，為檢索出需要處理的商品記錄提供了方便，這是啟動(dòng)分配進(jìn)程的前提。該子模塊的功能描述雖然簡(jiǎn)單，但要能正確實(shí)現(xiàn)卻需要考慮到方方面面的情況，因此將該過(guò)程設(shè)計(jì)為以下七個(gè)處理步驟:1)前期檢查:主要是對(duì)處理信息庫(kù)所在服務(wù)器的CPU使用率和其它數(shù)據(jù)庫(kù)狀態(tài)的檢查。當(dāng)CPU使用率達(dá)到一定數(shù)值(如70%)，該子模塊將進(jìn)入暫時(shí)休眠狀態(tài)，體眠時(shí)間可配置，直至使用率回落并穩(wěn)定后方能繼續(xù)發(fā)送任務(wù)而對(duì)其它數(shù)據(jù)庫(kù)的檢查則針對(duì)備份數(shù)據(jù)庫(kù)，如果備份數(shù)據(jù)庫(kù)正在執(zhí)行數(shù)據(jù)同步操作，則需等待操作的完成，避免產(chǎn)生的新數(shù)據(jù)影響歷史數(shù)據(jù)的還原:17 北京郵電大學(xué)軟件工程碩士論文2)選擇機(jī)器:理論上局域網(wǎng)中凡是具有商品信息分析功能的機(jī)器都是可以使用的，但實(shí)際中卻很少如此操作。為此，可以設(shè)計(jì)出一份候選機(jī)器清單文件，以XML格式描述，每臺(tái)PC可以出現(xiàn)多次，用來(lái)表示能夠并發(fā)處理的任務(wù)數(shù)量，這樣可以加快信息的處理速度，與快速處理商品信息的需求可謂不謀而合:3)刷新?tīng)顟B(tài):刷新機(jī)器狀態(tài)(長(zhǎng)時(shí)間未響應(yīng)任務(wù)處理)、刷新任務(wù)狀態(tài)(刪除有影響的任務(wù)記錄)和刷新商品信息狀態(tài)(由于機(jī)器無(wú)法使用而導(dǎo)致尚在處理中的信息的狀態(tài)復(fù)位)； 4)篩選信息:從不同的商品表中篩選出符合處理?xiàng)l件的商品倍息記錄:5)存入數(shù)據(jù)表z信息與機(jī)器后關(guān)聯(lián)存入任務(wù)隊(duì)列表，存入的商品記錄狀態(tài)更新為Ready(表示該記錄已經(jīng)分配)； 6)選擇Ready信息z確定列表中屬于不同PC的狀態(tài)為Ready的記錄:7)發(fā)送信息:將商品編號(hào)靠前的若干記錄打包(根節(jié)點(diǎn)為(/Task的XML格式信息)發(fā)給綁定的機(jī)器去處理。該子模塊用到的數(shù)據(jù)表如表3-2、表3-3、表3-4所示z表3- 2 Art ifact類(lèi)商品信息表(缸世fact*叫結(jié)構(gòu)字段名類(lèi)型說(shuō)明ArtifactID int(lO) unsigned 主鍵。通過(guò)申請(qǐng)獲得Name varchar (128) 名稱(chēng)Location varch町(128)文件存放路徑Type smallint(5) unsigned 類(lèi)型IDSubTypeID smallint(5) unsigned 子類(lèi)型IDState smallint(5) unsigned 狀態(tài)Content varchar(7000) 內(nèi)容IsBad sllla11 int(5) 是否存在臟詞.默認(rèn)O(否)Source V町char(45)信息來(lái)源UpdateTime tmesta皿p更新時(shí)間ProductID varchar(45) 商品IDParentID int (10) unsigned 父類(lèi)信息IDReferenceID int (10) unsigned 引用IDPrice varchar (45) 價(jià)格ReProcess smallint (5) unsigned 是否重新處理。默認(rèn)O(否表3- 3 ApiLog類(lèi)商品信息表(apilog)結(jié)構(gòu)撒一類(lèi)型int (10) unsigned 得獲請(qǐng)由甲過(guò)通明-鍵說(shuō)一主18 北京郵電大學(xué)軟件工程碩士論文Content varchar(70) 信息內(nèi)容Status small int (5) unsigned 狀態(tài)CreateTi me timestrunp 創(chuàng)建時(shí)間UserID int (10) uns igned 所屬用戶(hù)RequestCode varchar (50) 請(qǐng)求代碼Artifact類(lèi)商品表中部分字段屬于擴(kuò)展宇段，目前系統(tǒng)中并未全部使用。字符型默認(rèn)為空，數(shù)值型默認(rèn)為0。表3-4任務(wù)表(artifactjoblist)結(jié)構(gòu)字段名類(lèi)型說(shuō)明SeqID int(10) unsigned 主鍵。自動(dòng)遞增ArtifactID int (10) unsigned 商品信息IDTypeID smallint(5) unsigned 類(lèi)型IDAlgoritl1lllID 晦allint(5)unsigned 算法四Status varch6r(IO) 任務(wù)當(dāng)前狀態(tài)AssignedID varchar(36) 機(jī)器唯一標(biāo)識(shí)二其中任務(wù)狀態(tài)的取值范圍為:己分配CAssigned)，處理中CIn Process) , 己完成(Finished)和失敗(Failed)。3.3.3定時(shí)處理的設(shè)計(jì)在進(jìn)行任務(wù)分配的同時(shí)，還有一些操作也在以一定的時(shí)間間隔進(jìn)行著，比如上文提到的發(fā)送郵件、清理數(shù)據(jù)以及數(shù)據(jù)恢復(fù)。將這些操作都設(shè)計(jì)為以獨(dú)立線程的方式并發(fā)進(jìn)行，這樣可以保證彼此間不會(huì)相互干擾。發(fā)送郵件功能設(shè)計(jì)z定義了三種類(lèi)型的郵件，分別用來(lái)描述機(jī)器停止工作、主數(shù)據(jù)庫(kù)服務(wù)器CPU使用率過(guò)高和商品信息處理錯(cuò)誤。將錯(cuò)誤信息寫(xiě)入發(fā)送郵件的模板中后發(fā)送，同時(shí)記錄下發(fā)送出的郵件信息，每次發(fā)送操作的時(shí)間間隔設(shè)為30秒。相關(guān)數(shù)據(jù)表如表3-5所示:表3-5郵件信息在(email )結(jié)構(gòu)字段名類(lèi)型說(shuō)明MailID int( lO) 主鍵。自動(dòng)增長(zhǎng)Mai1TitIe varch叫256)郵件標(biāo)題MailContent varchar(5) 郵件內(nèi)容19 北京郵電大學(xué)軟件工程碩士論文MailSender varch叫50)郵件發(fā)送者郵箱MailSendTime timest缸np發(fā)送時(shí)間MailReceiver varcl叫50)郵件接收人MailType smallint(5) 郵件類(lèi)型其中郵件類(lèi)型的取值范圍為:商品信息處理失敗(0)，機(jī)器停止工作(1), 和主數(shù)據(jù)庫(kù)服務(wù)器CPU使用率過(guò)高(2)。清理數(shù)據(jù)功能設(shè)計(jì)z每天在設(shè)定的時(shí)間進(jìn)行一次清理操作，清理時(shí)間可配置.保持會(huì)隨著處理商品數(shù)量的增加而自身數(shù)據(jù)量迅速增長(zhǎng)的Concept表的記錄數(shù)不大于設(shè)定值。數(shù)據(jù)恢復(fù)功能設(shè)計(jì)z當(dāng)某些數(shù)據(jù)庫(kù)的當(dāng)前狀態(tài)為可執(zhí)行同步操作時(shí)，讀出該庫(kù)對(duì)應(yīng)的日志文件夾里的SQL腳本文件內(nèi)容，并按照文件生成時(shí)間的先后順序依次去執(zhí)行，對(duì)于不能成功執(zhí)行的文件內(nèi)容，則將該文件一起移至該文件夾中的臨時(shí)文件夾中:若全部執(zhí)行成功，則將該文件刪除每次檢查數(shù)據(jù)庫(kù)狀態(tài)的時(shí)間間隔設(shè)為20秒。3.3.4整理過(guò)程數(shù)據(jù)的設(shè)計(jì)該子模塊所說(shuō)的過(guò)程數(shù)據(jù)指的是任務(wù)編排數(shù)據(jù)。在任務(wù)分配模塊的設(shè)計(jì)中，引入任務(wù)的概念，把商品信息的處理過(guò)程設(shè)計(jì)為任務(wù)的執(zhí)行過(guò)程。就完成處理和更新商品狀態(tài)這兩個(gè)最終目標(biāo)而言，與任務(wù)的概念并無(wú)過(guò)多的直接聯(lián)系。因此當(dāng)目標(biāo)完成時(shí)，表3-4中預(yù)先編排的任務(wù)狀態(tài)為完成(/Task為根元素的XML任務(wù)信息，經(jīng)過(guò)模塊中一系列算法的處理，并與已經(jīng)存在的處理信息數(shù)據(jù)做最優(yōu)化比較，提取出商品描述信息中的主題詞匯，和這些詞匯相關(guān)的詞組語(yǔ)句內(nèi)容都會(huì)被存入不同的數(shù)據(jù)表中，并能在前臺(tái)Web上的查詢(xún)中還原出完整商品20 北京郵電大學(xué)軟件工程碩士論文信息。比如，一條關(guān)于西門(mén)子空調(diào)的商品信息在經(jīng)過(guò)處理后，就會(huì)得到諸如siemens、airconditioner等主題詞匯，如果處理信息庫(kù)中還沒(méi)有該品牌空調(diào)信息或者已有的信息不如這條信息詳盡，那么消費(fèi)者在Web上查詢(xún)?cè)撈放瓶照{(diào)時(shí)，此信息將作為最優(yōu)匹配信息呈現(xiàn)給消費(fèi)者。為實(shí)現(xiàn)上述處理過(guò)程，該模塊必須具備以下主要功能:監(jiān)昕是否有新任務(wù)到來(lái)、完整接收商品信息、正確執(zhí)行分析信息的過(guò)程、完善的異常處理機(jī)制和定時(shí)更新