第第頁(yè)大型數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)與功效研究數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

大型數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)與功效討論

數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

佳的一面，對(duì)產(chǎn)品弱點(diǎn)卻避開(kāi)提及或進(jìn)行遮掩。其實(shí)在選擇和評(píng)估過(guò)程中，首要目標(biāo)是選擇一款能夠滿(mǎn)意甚至超過(guò)預(yù)定要求的技術(shù)或解決方案。選型的正確方法將運(yùn)用戶(hù)在面對(duì)眾多產(chǎn)品時(shí)，做出最正確選擇。數(shù)據(jù)庫(kù)選型需要考慮五大因素：開(kāi)發(fā)要求、性能/成本、數(shù)據(jù)庫(kù)運(yùn)行和管理、可升級(jí)性和總體擁有成本。

首先，需要清晰自己到底想運(yùn)用什么開(kāi)發(fā)技術(shù)。例如，你是要以訪(fǎng)問(wèn)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)？還是要以純面對(duì)對(duì)象技術(shù)構(gòu)建j2ee應(yīng)用平臺(tái)？又或是需要建設(shè)*mlwebservices？假如你要實(shí)現(xiàn)的是純關(guān)系型的開(kāi)發(fā)典范，那么實(shí)際要運(yùn)用的受支持的標(biāo)準(zhǔn)〔和非標(biāo)準(zhǔn)〕sql功能有多少？假如你要規(guī)劃的是面對(duì)對(duì)象開(kāi)發(fā)策略，那么在原計(jì)劃里的數(shù)據(jù)庫(kù)支持真正的面對(duì)對(duì)象嗎？它是如何支持的？假設(shè)有需要,它能同時(shí)提供sql的功能嗎？數(shù)據(jù)庫(kù)支持這個(gè)功能嗎？雖然,有些關(guān)系型數(shù)據(jù)庫(kù)聲稱(chēng)支持對(duì)象開(kāi)發(fā)，但事實(shí)上并不是徑直支持的。這種非徑直的體系結(jié)構(gòu)將導(dǎo)致更多的事務(wù)處理故障，以及潛在的可升級(jí)性和性能問(wèn)題。

另外，你還需要確定自己的前端技術(shù)如何與后端進(jìn)行“對(duì)話(huà)”。你的業(yè)務(wù)規(guī)律是放在客戶(hù)機(jī)一端呢？還是放在服務(wù)器一端？你要運(yùn)用哪些腳本語(yǔ)言？它們與后端服務(wù)器的兼容性如何？它們是快速應(yīng)用開(kāi)發(fā)〔rad〕環(huán)境嗎？

目前，實(shí)現(xiàn)基于關(guān)系型數(shù)據(jù)庫(kù)的應(yīng)用可以選擇傳統(tǒng)的主流品牌，這些數(shù)據(jù)庫(kù)產(chǎn)品有著很成熟的關(guān)系技術(shù)以及廣泛的應(yīng)用資源。但是,假如實(shí)現(xiàn)的是基于面對(duì)對(duì)象技術(shù)的應(yīng)用、又或是數(shù)據(jù)結(jié)構(gòu)更為繁復(fù)

數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

時(shí)，不妨考慮目前一些公司推出的所謂后關(guān)系數(shù)據(jù)庫(kù)。它所代表的正好是關(guān)系數(shù)據(jù)庫(kù)和面對(duì)對(duì)象技術(shù)的融合，以多維數(shù)據(jù)引擎作為核心，從根本上支持繁復(fù)的對(duì)象存儲(chǔ)及主流的二維表，同時(shí)也已經(jīng)配備了功能強(qiáng)大的應(yīng)用服務(wù)引擎，可作對(duì)象規(guī)律操作的平臺(tái)。它的涌現(xiàn)已經(jīng)為傳統(tǒng)數(shù)據(jù)庫(kù)領(lǐng)域帶來(lái)了沖擊，而在面對(duì)對(duì)象數(shù)據(jù)庫(kù)方面更是廣受歡迎。

測(cè)量數(shù)據(jù)庫(kù)性能最常見(jiàn)的方法是tpc基準(zhǔn)。tpc明確地定義了數(shù)據(jù)庫(kù)方案、數(shù)據(jù)量以及sql查詢(xún)。測(cè)量的結(jié)果是，在特定的操作系統(tǒng)上配置了特定的數(shù)據(jù)庫(kù)版本，以及在驚人的硬件條件下每項(xiàng)事務(wù)的成本是多少——其中的事務(wù)可以是tpc測(cè)試中定義的任何數(shù)據(jù)庫(kù)操作。

從理論上來(lái)講，這類(lèi)基準(zhǔn)旨在提供不同產(chǎn)品間客觀(guān)的比較值。但在現(xiàn)實(shí)中，這些方案又有多少能精確反映并回答你在選擇技術(shù)時(shí)所存在的迷惑？其次，全部技術(shù)廠(chǎng)商發(fā)布的tpc基準(zhǔn)都會(huì)超過(guò)以前發(fā)布的結(jié)果。這樣，tpc基準(zhǔn)在更大程度上反映的是為解決問(wèn)題而投入的內(nèi)存和cpu量，而不是數(shù)據(jù)庫(kù)性能的任何真實(shí)表現(xiàn)。只有在真實(shí)的環(huán)境中進(jìn)行實(shí)際的比較測(cè)試才可以推斷出數(shù)據(jù)庫(kù)的預(yù)期性能及評(píng)估所需成本。常用的方法包括平衡移植，把原來(lái)的數(shù)據(jù)轉(zhuǎn)移到類(lèi)似硬件上的另一套數(shù)據(jù)庫(kù)，然后以真實(shí)的客戶(hù)端連接這套測(cè)試對(duì)象。又或是以數(shù)據(jù)產(chǎn)生針對(duì)真實(shí)的數(shù)據(jù)模型，建立出巨大的數(shù)據(jù)量，再以客戶(hù)端連接作測(cè)試。

這種做法跟試驗(yàn)室中的做法的不同之處有以下幾點(diǎn)：第一，試驗(yàn)

數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

中的硬件構(gòu)架跟你預(yù)期的方案不會(huì)有太大的差別；第二，所測(cè)試的事務(wù)在寬度和深度方面跟將來(lái)計(jì)劃的也差不太遠(yuǎn)；第三，假如是硬件條件一樣，我們可以徑直看出測(cè)試對(duì)象跟原來(lái)方案有著多少差異。

掌控了以上結(jié)論之后，我們應(yīng)當(dāng)可以更精明地為所需的性能投入相應(yīng)的成本。換句話(huà)說(shuō)，我們將能夠更精確地猜測(cè)各種數(shù)據(jù)庫(kù)的性能與相應(yīng)的成本。

2數(shù)據(jù)庫(kù)設(shè)計(jì)

2.1數(shù)據(jù)模式設(shè)計(jì)

在數(shù)據(jù)庫(kù)規(guī)律設(shè)計(jì)過(guò)程中，為了保證數(shù)據(jù)庫(kù)的全都性和完整性，數(shù)據(jù)庫(kù)要根據(jù)關(guān)系數(shù)據(jù)庫(kù)的規(guī)范化要求設(shè)計(jì)。滿(mǎn)意這些范式條件的關(guān)系模式可在不同程度上避開(kāi)冗余、插入和更新異樣問(wèn)題。在基于表驅(qū)動(dòng)的系統(tǒng)中,基本表的設(shè)計(jì)規(guī)范是第三范式3nf。但是在實(shí)際工作中,對(duì)于常常需要執(zhí)行查詢(xún)、匯總的列,假如按規(guī)范化理論設(shè)計(jì)確定會(huì)增加表的連接操作而降低系統(tǒng)性能,這時(shí)可以降低數(shù)據(jù)庫(kù)對(duì)規(guī)范化理論的要求，以便滿(mǎn)意實(shí)際應(yīng)用操作的需要。所以合理運(yùn)用冗余會(huì)為查詢(xún)帶來(lái)很大的好處，比如常常被查詢(xún)的匯總數(shù)據(jù)可以在平常工作中就累加好，不需要到查詢(xún)時(shí)再運(yùn)用如sum之類(lèi)的函數(shù)。

2.2索引設(shè)計(jì)

索引即將表數(shù)據(jù)按索引要求而產(chǎn)生有序的數(shù)據(jù)副本，這樣的查詢(xún)可以在有序表中進(jìn)行，提高查詢(xún)數(shù)據(jù)的速度,改善系統(tǒng)性能?？墒沁\(yùn)用索引也會(huì)耗費(fèi)磁盤(pán)空間,增加開(kāi)銷(xiāo),降低dml(insert、

數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

update、delete)操作執(zhí)行的效率。因此設(shè)計(jì)時(shí)應(yīng)盡量選擇有用的索引,在提高查詢(xún)速度和節(jié)約存儲(chǔ)空間之間尋求最正確的平衡點(diǎn)。數(shù)據(jù)庫(kù)服務(wù)器對(duì)數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)一般采納下面的兩種方式：索引掃描：通過(guò)索引訪(fǎng)問(wèn)數(shù)據(jù)；表掃描：讀表中的全部頁(yè)。當(dāng)對(duì)一個(gè)表進(jìn)行查詢(xún)時(shí)，假如返回的行數(shù)占全表總行數(shù)的10%到15%時(shí)，運(yùn)用索引可以極大的優(yōu)化查詢(xún)的性能。但是假如查詢(xún)涉及到全表40%以上的行時(shí)，表掃描的效率比運(yùn)用索引掃描的效率高。在詳細(xì)運(yùn)用的過(guò)程中，要結(jié)合實(shí)際的數(shù)據(jù)庫(kù)和用戶(hù)的需求來(lái)確定要不要索引以及在什么字段上建立什么樣的索引。下面給出一些通用的規(guī)章：

①在常常用作過(guò)濾器或者查詢(xún)頻率較高字段上建立索引；②在sql語(yǔ)句中常常進(jìn)行g(shù)roupby、orderby的字段上建立索引；③在不同值較少的字段上不須要建立索引，如性別字段；④對(duì)于常常存取的列應(yīng)避開(kāi)建立索引；⑤用于聯(lián)接的列〔主健/外健〕建立索引；⑥在常常存取的多個(gè)列上建立聯(lián)合索引，但要留意聯(lián)合索引的建立順次要根據(jù)運(yùn)用的頻度來(lái)確定。

聚集索引是指行的物理順次與行的索引順次相同的索引。一個(gè)表只能有一個(gè)聚集索引。非聚集索引是指定表的規(guī)律順次索引，行的物理順次與索引順次不盡相同，每個(gè)表可以有多個(gè)非聚集索引。缺省狀況下建立的是非聚集索引，但是在一些特定的狀況下建立非聚集索引會(huì)極大的縮短查詢(xún)的時(shí)間。有大量重復(fù)值、且常常有范圍查詢(xún)〔between，，=，=〕和orderby、groupby發(fā)生的列，可考慮建立聚集索引，而對(duì)于經(jīng)常修改的列、或者返回小數(shù)目的不同值

數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

的這些狀況應(yīng)當(dāng)避開(kāi)建立聚集索引。

運(yùn)用聚集索引的最大好處就是能夠依據(jù)查詢(xún)要求，快速縮小查詢(xún)范圍，避開(kāi)全表掃描。比如要返回2022年10月1日到2022年10月1日之間的數(shù)據(jù)，假如在日期的字段建立了聚集索引，那么數(shù)據(jù)原來(lái)就是根據(jù)日期的順次排列的，只要找到開(kāi)始和結(jié)尾日期的數(shù)據(jù)就可以了，可以極大的節(jié)約時(shí)間。而假如運(yùn)用非聚集索引，需要查到這個(gè)時(shí)間段中每個(gè)日期對(duì)應(yīng)的位置，然后在依據(jù)位置存取數(shù)據(jù)，明顯效率很低。不言而喻，運(yùn)用聚集索引的優(yōu)勢(shì)很明顯。一個(gè)表只能根據(jù)一個(gè)固定的順次來(lái)存儲(chǔ)數(shù)據(jù)。因此，在建立聚集索引的時(shí)候肯定要和實(shí)際查詢(xún)相結(jié)合，看哪個(gè)字段對(duì)于查詢(xún)貢獻(xiàn)大，而且操作不是很經(jīng)常。

索引有助于提高檢干脆能，但過(guò)多或不當(dāng)?shù)乃饕矔?huì)導(dǎo)致系統(tǒng)低效。由于用戶(hù)在表中每添加一個(gè)索引，數(shù)據(jù)庫(kù)就要做更多的工作。過(guò)多的索引甚至?xí)?dǎo)致索引碎片。所以說(shuō)，我們要合理運(yùn)用索引體系，特別是對(duì)索引的創(chuàng)建，更應(yīng)精益求精，使數(shù)據(jù)庫(kù)的性能得到更好的發(fā)揮。

創(chuàng)建索引可以依據(jù)查詢(xún)業(yè)務(wù)的不同分為兩種:單一列索引和聯(lián)合索引。單一列索引就是指在表的某一列上創(chuàng)建索引，聯(lián)合索引是在多個(gè)列上聯(lián)合創(chuàng)建索引。兩種索引比較結(jié)果如下：

①索引所占用空間:單一列索引相對(duì)要小；②索引創(chuàng)建時(shí)間:單一列索引相對(duì)短；③索引對(duì)insert，update，delete的影響程序:單

數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

一列索引要相對(duì)低；④在多條件查詢(xún)時(shí)，聯(lián)合索引效率要高。索引的運(yùn)用范圍:單一列索引可以涌現(xiàn)在where條件中的任何位置，而聯(lián)合索引需要按肯定的順次來(lái)寫(xiě)。最末要留意，對(duì)數(shù)據(jù)量大及運(yùn)用經(jīng)常的數(shù)據(jù)庫(kù)需要是要用索引優(yōu)化器來(lái)優(yōu)化索引。

2.3查詢(xún)?cè)O(shè)計(jì)

從大多數(shù)系統(tǒng)的應(yīng)用實(shí)例來(lái)看,查詢(xún)操作在各種數(shù)據(jù)庫(kù)操作中所占據(jù)的比重最大。很多程序員在開(kāi)發(fā)數(shù)據(jù)庫(kù)應(yīng)用程序時(shí),只著重用戶(hù)界面的華麗,并不重視查詢(xún)語(yǔ)句的效率問(wèn)題,導(dǎo)致所開(kāi)發(fā)出來(lái)的應(yīng)用系統(tǒng)效率低下。因此,如何設(shè)計(jì)高效合理的查詢(xún)語(yǔ)句就顯得特別重要。

(1)正確地運(yùn)用索引

正確運(yùn)用索引可以大大提高查詢(xún)效率,在條件子句中應(yīng)盡量考慮有用索引的運(yùn)用。例如,在同學(xué)登記表中,假如創(chuàng)建學(xué)號(hào)為單列索引,那么查詢(xún)語(yǔ)句的where子句中應(yīng)運(yùn)用學(xué)號(hào)這個(gè)索引,使之成為有用索引。

(2)模糊匹配的避開(kāi)

like關(guān)鍵字支持通配符匹配，技術(shù)上稱(chēng)為正那么表達(dá)式。但這種匹配特別耗費(fèi)時(shí)間，盡量避開(kāi)運(yùn)用模糊匹配。

(3)子查詢(xún)合并

子查詢(xún)合并是將某些特定的子查詢(xún)重寫(xiě)為等價(jià)的多個(gè)表的連接操作。子查詢(xún)合并的作用在于能使查詢(xún)語(yǔ)句的層次盡可能地減削,從而可提高查詢(xún)的效率。子查詢(xún)合并的一般規(guī)章為:①假如外層查詢(xún)

數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

的結(jié)果沒(méi)有重復(fù),即select子句中包含主碼,那么可以合并其子查詢(xún),并且合并后的select子句前應(yīng)加上distinct標(biāo)識(shí)；②假如外層查詢(xún)的select子句中有distinct標(biāo)識(shí),那么可以徑直進(jìn)行子查詢(xún)合并；③假如內(nèi)部子查詢(xún)結(jié)果沒(méi)有重復(fù)元組,那么可以合并。

(4)運(yùn)用臨時(shí)表優(yōu)化查詢(xún)

在涉及相關(guān)查詢(xún)的某些情形中，構(gòu)造臨時(shí)關(guān)系可以提高查詢(xún)效率。

3數(shù)據(jù)庫(kù)系統(tǒng)配置

3.1硬件系統(tǒng)配置

數(shù)據(jù)庫(kù)服務(wù)器中最重要的配置參數(shù)有內(nèi)存、cpu和網(wǎng)卡。目前影響最大的是內(nèi)存。盡可能把數(shù)據(jù)放入內(nèi)存，比臨時(shí)從硬盤(pán)中調(diào)入內(nèi)存來(lái)的要快的多。假如內(nèi)存太小，小會(huì)造成數(shù)據(jù)在內(nèi)存與硬盤(pán)之間的經(jīng)常調(diào)入調(diào)出，假如內(nèi)存的占用率超過(guò)50%,那就要考慮是否要擴(kuò)大它。在內(nèi)存足夠大時(shí)，系統(tǒng)可以考慮在每天的初始運(yùn)行時(shí)，將數(shù)據(jù)預(yù)裝入內(nèi)存也是一種行之有效的好方法。

3.2功能模塊配置

系統(tǒng)無(wú)論是c/s架構(gòu)還是b/s架構(gòu)。數(shù)據(jù)信息的系統(tǒng)處理時(shí)間都是由三部分組成：數(shù)據(jù)庫(kù)服務(wù)器處理時(shí)間；網(wǎng)絡(luò)傳輸時(shí)間；客戶(hù)端處理時(shí)間。所以解決系統(tǒng)性能的關(guān)鍵點(diǎn)就在于如何使得這三個(gè)時(shí)間的總和最小。

在系統(tǒng)中數(shù)據(jù)庫(kù)服務(wù)器的配置和性能往往是最高。但它的工作也最繁重，要同時(shí)應(yīng)對(duì)假設(shè)干用戶(hù)的操作懇求。同時(shí)我們留意到有些系

數(shù)據(jù)庫(kù)特別是大型數(shù)據(jù)庫(kù)的執(zhí)行效率一貫是困擾系統(tǒng)用戶(hù)的最大問(wèn)題。軟件項(xiàng)目在設(shè)計(jì)時(shí),由于測(cè)試用例的數(shù)據(jù)量很小,許多有關(guān)執(zhí)行效率的問(wèn)題都反映不出來(lái)。

統(tǒng)工作可以放在客戶(hù)端處理，也可以由數(shù)據(jù)庫(kù)服務(wù)器處理，但怎樣安排才好呢？這要詳細(xì)看系統(tǒng)各組成部分的性能。

(1)如客戶(hù)端功能弱而數(shù)據(jù)庫(kù)服務(wù)器技能強(qiáng)，那么有些問(wèn)題就可以用觸發(fā)器、自定義函數(shù)和視圖等形式交給數(shù)據(jù)庫(kù)服務(wù)器去處理。這樣不僅可以減輕客戶(hù)端壓力還帶來(lái)系統(tǒng)可維護(hù)性好的好處。

(2)反之，如客戶(hù)端處理技能較強(qiáng)，而數(shù)據(jù)庫(kù)服務(wù)器壓力過(guò)大的話(huà)，有些諸如觸發(fā)器要完成的工作可以有客戶(hù)端來(lái)完成，如數(shù)據(jù)驗(yàn)證、自動(dòng)編號(hào)生成、數(shù)據(jù)統(tǒng)計(jì)等這樣一些工作可以交與客戶(hù)端來(lái)完成。

(3)充分兼顧網(wǎng)絡(luò)傳輸時(shí)間。目前的網(wǎng)絡(luò)特別是互聯(lián)網(wǎng)絡(luò)，其流量壓力越來(lái)越大,峰值越來(lái)越經(jīng)常。為平衡客戶(hù)端與數(shù)據(jù)庫(kù)服務(wù)器的工作，有時(shí)會(huì)將一些半加工的數(shù)據(jù)在網(wǎng)絡(luò)上傳輸，這些數(shù)據(jù)往往數(shù)據(jù)量就很大，給網(wǎng)絡(luò)環(huán)節(jié)帶來(lái)壓力就大。假如只能傳輸處理結(jié)果而不傳輸中間數(shù)據(jù)，這樣數(shù)據(jù)傳輸時(shí)間就最少，但這樣平衡客戶(hù)端和數(shù)據(jù)庫(kù)服務(wù)器的工作又比較難。所以要詳細(xì)狀況詳細(xì)分析，充分兼顧網(wǎng)絡(luò)傳輸時(shí)間對(duì)系統(tǒng)的影響。

4數(shù)據(jù)庫(kù)性能測(cè)試

目前常用的數(shù)據(jù)庫(kù)基準(zhǔn)性能測(cè)試工具是tpcc。關(guān)于它的運(yùn)用方法這里不再贅述。當(dāng)系統(tǒng)的性能下降以后，我們要分析下降的現(xiàn)象及產(chǎn)生緣由。常見(jiàn)的有：①原本好好的，突然變得很慢；②工作高峰時(shí)比較慢；③