1、 智慧教育:教育資源共享的云存儲平臺解決方案 一、系統(tǒng)需求分析（背景）全區(qū)共有100所學(xué)校和教育機(jī)構(gòu)，目前擬在區(qū)教育局建立一套統(tǒng)一的資源管理數(shù)據(jù)中心。該中心將集中存儲區(qū)教育局現(xiàn)有應(yīng)用系統(tǒng)所涉及的數(shù)據(jù)庫，包括區(qū)教育局門戶網(wǎng)站、內(nèi)置網(wǎng)站集群管理功能以及區(qū)下屬各校的網(wǎng)站數(shù)據(jù)庫，同時也集中存儲各校的資源庫數(shù)據(jù)，主要包括課件、題庫、教案的文本數(shù)據(jù)。目前各校的資源庫所占據(jù)的數(shù)據(jù)量在500GB600GB，并且數(shù)據(jù)量是逐年遞增。容量需求根據(jù)目前各學(xué)校等教育機(jī)構(gòu)的數(shù)據(jù)存儲和增長情況，估計(jì)總數(shù)據(jù)量在60TB，考慮3年內(nèi)數(shù)據(jù)量的遞增性，規(guī)劃為180TB，按照至少1:1備份，實(shí)際容量需求為360TB，本次規(guī)劃總?cè)萘繛?/p>

2、300TB。吞吐率需求按照項(xiàng)目網(wǎng)絡(luò)規(guī)劃，各學(xué)校連接到區(qū)教育局帶寬為10M20M，區(qū)教育局的總出口帶寬300400MB以上，因此要求云存儲系統(tǒng)的總吞吐率至少要保證300M的應(yīng)用需求。可靠性需求在存儲平臺上除了存儲各校的教學(xué)資源外，還部署有應(yīng)用服務(wù)數(shù)據(jù)庫，該數(shù)據(jù)庫支撐各個學(xué)校門戶網(wǎng)站的建設(shè)，提供教研平臺、VOD點(diǎn)播、資源庫以及數(shù)字圖書館等服務(wù)，因此在設(shè)計(jì)上必須保證存儲系統(tǒng)的安全可靠性，要保證系統(tǒng)724小時全天候的不間斷運(yùn)行，提供可靠的服務(wù)。擴(kuò)展性需求根據(jù)業(yè)務(wù)應(yīng)用的發(fā)展，未來可能會面臨擴(kuò)展性的需求，這就要求系統(tǒng)的設(shè)計(jì)具有前瞻性，保證所采用的架構(gòu)是可擴(kuò)展的，并且在系統(tǒng)規(guī)模擴(kuò)展的過程中，系統(tǒng)對外服務(wù)不中

3、斷。二、系統(tǒng)方案總體設(shè)計(jì)思想根據(jù)建設(shè)的需要，擬采用云存儲平臺對數(shù)據(jù)進(jìn)行統(tǒng)一集中的管理，通過分布式云平臺的高可靠容錯來對外提供穩(wěn)定可靠的服務(wù)，同時依托分布式的云存儲節(jié)點(diǎn)對外提供高速的存儲訪問服務(wù)。并且，基于分布式架構(gòu)的云存儲平臺，具有在線伸縮規(guī)模的能力，為系統(tǒng)的擴(kuò)展提供良好的支撐。系統(tǒng)總體架構(gòu)圖1cStor云存儲資源管理系統(tǒng)部署示意圖架構(gòu)描述采用cStor云存儲系統(tǒng)構(gòu)建本次云平臺的基本數(shù)據(jù)存儲平臺，其具體描述如下：基本存儲采用cStor分布式云存儲平臺，該平臺對上層應(yīng)用服務(wù)器（包括文件服務(wù)器、網(wǎng)站服務(wù)器、數(shù)據(jù)庫服務(wù)器等）提供容量支撐，通過cStor客戶端可以將存儲容量映射成本地磁盤（Window

4、s系統(tǒng)）或者掛載到本地目錄（Linux/Unix系統(tǒng)）；用戶通過文件服務(wù)器，如FTP、NFS等服務(wù)器訪問cStor云存儲，也可以通過cStor客戶端直接訪問云存儲系統(tǒng)（需要保證用戶PC能夠與cStor所有節(jié)點(diǎn)網(wǎng)絡(luò)互通），cStor系統(tǒng)支持用戶配額和權(quán)限控制；cStor云存儲系統(tǒng)主要用來存儲課件、教學(xué)視頻等海量的非結(jié)構(gòu)化數(shù)據(jù)；采用主備雙機(jī)熱備的容錯方式搭建數(shù)據(jù)庫服務(wù)器，數(shù)據(jù)庫中所涉及到的非結(jié)構(gòu)化數(shù)據(jù)，如圖片、視頻、文檔等，遷移至云存儲系統(tǒng)中進(jìn)行存儲；數(shù)據(jù)遷移后，原有的系統(tǒng)，如網(wǎng)站服務(wù)系統(tǒng)、視頻點(diǎn)播服務(wù)系統(tǒng)等，對數(shù)據(jù)的訪問方式不變。系統(tǒng)優(yōu)勢和特點(diǎn)cStor云存儲系統(tǒng)是一套軟件與硬件相結(jié)合的系統(tǒng)，其

5、中專有技術(shù)和軟件是高附加值部分，可以廣泛應(yīng)用于需要存儲大量數(shù)據(jù)的應(yīng)用場合（如安防、廣電、電信、互聯(lián)網(wǎng)、銀行等領(lǐng)域）。該系統(tǒng)相比傳統(tǒng)存儲系統(tǒng)有如下技術(shù)優(yōu)勢：高度可靠存儲系統(tǒng)采用云架構(gòu)，數(shù)據(jù)被分塊存儲在不同的存儲節(jié)點(diǎn)上，數(shù)據(jù)采用先進(jìn)的1:1容錯機(jī)制進(jìn)行容錯，可在任意損壞一個存儲服務(wù)器節(jié)點(diǎn)的情況下實(shí)現(xiàn)數(shù)據(jù)完整可靠，系統(tǒng)對外存儲訪問服務(wù)不間斷。云存儲的管理節(jié)點(diǎn)采用了主備雙機(jī)鏡像熱備的高可用機(jī)制，在主管理節(jié)點(diǎn)出現(xiàn)故障時，備管理節(jié)點(diǎn)自動接替主管理節(jié)點(diǎn)的工作，成為新的主管理節(jié)點(diǎn)，待故障節(jié)點(diǎn)修復(fù)并重啟服務(wù)后，它則成為新的備管理節(jié)點(diǎn)，保障系統(tǒng)的724小時不間斷服務(wù)。優(yōu)異性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù)

6、，數(shù)據(jù)的存儲或讀取實(shí)際上是與各個存儲節(jié)點(diǎn)上并行讀寫，這樣隨著存儲節(jié)點(diǎn)數(shù)目的增多，整個系統(tǒng)的吞吐量和IO性能將呈線性增長。同時，cStor采用負(fù)載均衡技術(shù)，自動均衡各服務(wù)器負(fù)載，使得各存儲節(jié)點(diǎn)的性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配置。無限容量系統(tǒng)容量僅受限于卷管理服務(wù)器內(nèi)存，可支撐的容量接近無限，經(jīng)推算，理論容量為102410241024 PB (1G個PB容量)。在線伸縮cStor云存儲資源管理系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點(diǎn)，無需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時，無需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，存儲在此節(jié)點(diǎn)上的數(shù)據(jù)將會重新備份到其他節(jié)點(diǎn)上。通

7、用易用cStor云存儲系統(tǒng)提供符合POSIX標(biāo)準(zhǔn)的通用文件系統(tǒng)接口，無論是哪種操作系統(tǒng)下的應(yīng)用程序，都可以不經(jīng)修改將云存儲當(dāng)成自己的海量磁盤來使用。同時，也提供專用的API接口，供開發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由cStor管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。通過管理平臺，可以對cStor中的所有節(jié)點(diǎn)實(shí)行實(shí)時監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個節(jié)點(diǎn)和磁盤的運(yùn)行情況；同時也可以實(shí)現(xiàn)對文件級別的系統(tǒng)監(jiān)控，支持損壞文件的查找和修復(fù)功能。系統(tǒng)提供用戶安全認(rèn)證及對不同用戶進(jìn)行配額設(shè)置與權(quán)限管理功能，滿足應(yīng)用的日常維護(hù)和安全管理需求

8、。三、客戶受益優(yōu)異的性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲或讀取是與各個存儲節(jié)點(diǎn)上并行讀寫，隨著存儲節(jié)點(diǎn)數(shù)目的增多，整個系統(tǒng)的吞吐量和IO性能將呈線性增長。同時，cStor采用負(fù)載均衡技術(shù)，自動均衡各服務(wù)器負(fù)載，使得各存儲節(jié)點(diǎn)的性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配置。更高的可靠性任意節(jié)點(diǎn)宕機(jī)，系統(tǒng)不停止服務(wù)；任意硬盤、網(wǎng)卡等部件損壞，不影響系統(tǒng)服務(wù)，系統(tǒng)能夠自動容錯，將數(shù)據(jù)分散在各個節(jié)點(diǎn)上，不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。任務(wù)處理過程中，節(jié)點(diǎn)宕機(jī)，任務(wù)自動切換并保留現(xiàn)有進(jìn)度，保障任務(wù)繼續(xù)執(zhí)行下去。更方便的管理提供基于WEB的管理控制平臺，所有的管理工作均由cStor管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。通過管理平臺，可以對cStor中的所有節(jié)點(diǎn)實(shí)行實(shí)時監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個節(jié)點(diǎn)和磁盤的運(yùn)行情況；同時也可以實(shí)現(xiàn)對文件級別的系統(tǒng)監(jiān)控，支持損壞文件的查找和修復(fù)功能。系統(tǒng)提供用戶安全認(rèn)證及對不同用戶進(jìn)行配額設(shè)置與權(quán)限管理功能，滿足應(yīng)用的日常維護(hù)和安全管理需求。優(yōu)異的擴(kuò)展性在數(shù)據(jù)量和處理要求不斷提高的實(shí)時業(yè)務(wù)中，平臺擴(kuò)容十分便捷，在不停機(jī)的情況下，添加節(jié)點(diǎn)或一體機(jī)數(shù)量，平臺的存儲及處理能力自動增加；隨著業(yè)務(wù)內(nèi)容需求的提升，僅需對分批對平臺內(nèi)設(shè)備的軟件進(jìn)行升級，平臺服務(wù)不會中斷。