1、第 PAGE9 頁 共 NUMPAGES9 頁數(shù)據(jù)建模白皮書20_Yonghong Technology CO.,Ltd永洪科技Data Modeler白皮書 V2.1Table of Contents1Z-Data Modeler31.1Query Editor 查詢編輯31.1.1Build Query 建立查詢31.1.1.1SQL Query (關(guān)系數(shù)據(jù)庫(kù)查詢)41.1.1.2Script Query (腳本查詢)41.1.1.3Customized Query (自定義查詢)41.1.1.4Cloud Query (云查詢)51.1.1.5Embed Query (嵌入式查詢)51.

2、1.2VPM51.1.3Cube61.1.4Materialized Query 物化查詢61.2Query Engine 查詢引擎6Abbreviations and DefinitionsAbbreviationDefinitionSQLStructured Query Language (構(gòu)造化查詢語言)ODBCOpen Database Connectivity (開放數(shù)據(jù)庫(kù)互連)JDBCJava Data Base Connectivity(Java數(shù)據(jù)庫(kù)互連)APIApplication Programming Interface (應(yīng)用程序編程接口)DBMSDatabase Ma

3、nagement System (數(shù)據(jù)庫(kù)管理系統(tǒng))Z-Data ModelerZ-Data Modeler是Yonghong Z-Suite的核心模塊之一，作為軟件的第一級(jí)接口與數(shù)據(jù)相連接，將原始數(shù)據(jù)按照客戶的需求進(jìn)展挑選和優(yōu)化，為后續(xù)數(shù)據(jù)分析p 操作提供輸入。由于當(dāng)前的數(shù)據(jù)類型，數(shù)據(jù)構(gòu)造，數(shù)據(jù)范圍和數(shù)據(jù)庫(kù)類型種類繁多，千變?nèi)f化，不可以直接被數(shù)據(jù)分析p 所使用，必須按照用戶和Yonghong Z-Suite的需求進(jìn)展標(biāo)準(zhǔn)和過濾，才能成為系統(tǒng)可以識(shí)別的數(shù)據(jù)，才可直成為接被數(shù)據(jù)分析p 的數(shù)據(jù)。因此Z-Data Modeler目的就是提供各種不同的條件，嚴(yán)格挑選數(shù)據(jù)，輸出合適的數(shù)據(jù)給其他功能模塊使用

4、。Z-Data Modeler包括查詢定義編輯器和查詢引擎兩個(gè)主要模塊。用戶通過查詢定義編輯器定義各種查詢條件，為后續(xù)的數(shù)據(jù)分析p 提供分析p 模型和輸入準(zhǔn)那么。當(dāng)大量的原始數(shù)據(jù)進(jìn)入到Z-Data Modeler以后，查詢引擎就根據(jù)設(shè)定好的條件對(duì)于數(shù)據(jù)進(jìn)展排列組合，生成查詢列表，為以后的數(shù)據(jù)分析p 提供效勞。針對(duì)于不同用戶對(duì)于數(shù)據(jù)查詢的需求和自身所能提供的技術(shù)的復(fù)雜度，Z-Data Modeler提供了各種不同級(jí)別的查詢支持。Query Editor查詢編輯Query Editor是使用Z-DataModeler的開場(chǎng)，通過定義各種不同的查詢條件，將原始數(shù)據(jù)轉(zhuǎn)換成為系統(tǒng)所需的數(shù)據(jù)類型和數(shù)據(jù)形式

5、，為后續(xù)操作提供各種輸入。Query Editor目前支持五種數(shù)據(jù)查詢，通過定義查詢條件，連接各種不同的數(shù)據(jù)庫(kù)類型，提供各種數(shù)據(jù)過濾效勞，產(chǎn)生最終的查詢表單。五種查詢Build Query建立查詢SQL Query (關(guān)系數(shù)據(jù)庫(kù)查詢)現(xiàn)實(shí)世界中的各種實(shí)體以及實(shí)體之間的各種聯(lián)絡(luò)均用關(guān)系模型來表示。關(guān)系模型就是指二維表格模型,因此一個(gè)關(guān)系型數(shù)據(jù)庫(kù)就是由二維表及其之間的聯(lián)絡(luò)組成的一個(gè)數(shù)據(jù)組織。關(guān)系數(shù)據(jù)庫(kù)是建立在關(guān)系模型根底上的數(shù)據(jù)庫(kù)，借助于集合代數(shù)等數(shù)學(xué)概念和方法來處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)，是目前數(shù)據(jù)庫(kù)存儲(chǔ)類型中的常用類型。當(dāng)前主流的關(guān)系型數(shù)據(jù)庫(kù)有ORACLE, DB2, SQLSERVER.MYSQL,

6、 DERBY, INFOMI_, SYBASE, ACCESS, POSTGRESQL, INFOBANK等。標(biāo)準(zhǔn)數(shù)據(jù)查詢語言SQL一種介于關(guān)系代數(shù)與關(guān)系演算之間的構(gòu)造化查詢語言，包括查詢、操縱、定義和控制，是一個(gè)通用的、功能極強(qiáng)的關(guān)系性數(shù)據(jù)庫(kù)語言，同時(shí)又是一種高度非過程化的語言，只要求用戶指出做什么而不需要指出怎么做。SQL集成實(shí)現(xiàn)了數(shù)據(jù)庫(kù)生命周期中的全部操作，提供了與關(guān)系數(shù)據(jù)庫(kù)進(jìn)展交互的方法，它可以與標(biāo)準(zhǔn)的編程語言一起工作。SQL Query主要是通過JDBC和ODBC與目前主流數(shù)據(jù)庫(kù)相聯(lián)絡(luò)。JDBC和ODBC提供了一組對(duì)數(shù)據(jù)庫(kù)訪問的標(biāo)準(zhǔn)API，建立了一組數(shù)據(jù)庫(kù)訪問的標(biāo)準(zhǔn)，支持SQL語句的

7、執(zhí)行，同時(shí)也是Yonghong Z-Suite與數(shù)據(jù)之間的主要接口。Yonghong對(duì)數(shù)據(jù)庫(kù)的操作不依賴任何DBMS，不直接與DBMS打交道，所有的數(shù)據(jù)庫(kù)操作由對(duì)應(yīng)的DBMS的數(shù)據(jù)庫(kù)驅(qū)動(dòng)程序完成。除了一些主流關(guān)系型數(shù)據(jù)庫(kù)，用戶還可以通過選擇GENERIC類型和輸入正確的數(shù)據(jù)驅(qū)動(dòng)接口，鏈接到其他類型的數(shù)據(jù)庫(kù)，比方一些非關(guān)系型的數(shù)據(jù)庫(kù)類型VERTICA, E_ADATA, EZZA, TERADATA, SYBASE IQ, GREENPLUM等。Script Query (腳本查詢)Script Query提供腳本語言和數(shù)據(jù)接口的方式，實(shí)現(xiàn)SQL Query所提供的功能。但這種方式比擬于SQL

8、Query本身設(shè)計(jì)上的局限，又能使查詢操作更加靈敏自由，為專業(yè)人士提供了便利。通過在工具庫(kù)里提供了一些常用Javascript函數(shù)接口，Script Query支持客戶通過編程的方式進(jìn)展查詢。雖然這些接口被限制在設(shè)定功能范圍內(nèi)，但是已經(jīng)可以滿足現(xiàn)有日常的工作。此外Script Query提供了SQL Query不支持的結(jié)合查詢功能。其類似于SQL中的結(jié)合查詢，根據(jù)客戶需求，將來自不同數(shù)據(jù)表單上的數(shù)據(jù)，通過腳本JOIN查詢方法展如今一張表單上。但Script Query提供了比SQL的結(jié)合查詢提供了更為強(qiáng)大的功能。SQL結(jié)合查詢的前提是所有的數(shù)據(jù)表單都來自于同一個(gè)數(shù)據(jù)庫(kù)，而Script Quer

9、y可以連接不同數(shù)據(jù)庫(kù)的數(shù)據(jù)表單，例如某個(gè)公司的經(jīng)營(yíng)數(shù)據(jù)保存在DB2，而其管理數(shù)據(jù)保存在ORACLE，客戶通過Script Query可以把他們結(jié)合在一起并組成一張新的查詢表用來分析p ，實(shí)現(xiàn)了不同數(shù)據(jù)之間的合并。Customized Query (自定義查詢)Customized Query基于Script Query的設(shè)計(jì)理念，提供應(yīng)客戶更加自由靈敏的操作方式，完全由用戶自己定義查詢條件和選擇數(shù)據(jù)來，因此它也是這五中查詢方式里面對(duì)于客戶技術(shù)要求最高的。用戶在使用Yonghong Z-Suite之前已經(jīng)建立好自己的查詢系統(tǒng)，并和自己的數(shù)據(jù)系統(tǒng)深度綁定，因此不需要重新定義查詢機(jī)制。Customi

10、zed Query正好滿足此類用戶的需求，可以將自有的查詢系統(tǒng)與Yonghong Z-Suite快速綁定。Customized Query在建立新的查詢的時(shí)候，提供g5.qry.GCustomQuery類接口給用戶，幫助他們通過Java編程的方式與自己原有查詢系統(tǒng)進(jìn)展綁定。通過繼承Query的方式，Yonghong Z-Suite可以返回用戶自定義的查詢結(jié)果。另外當(dāng)用戶希望直接從數(shù)據(jù)庫(kù)獲取原始數(shù)據(jù)而不使用查詢功能的時(shí)候，Customized Query也可以幫助用戶完成此類操作。Customized Query 具有并支持和Script Query類似的結(jié)合查詢功能，可以將多張表單的查詢結(jié)果鏈

11、接在一起，同時(shí)支持不同數(shù)據(jù)庫(kù)類型。但是他們之間也有一些不同，Script Query是基于可視化界面的輸出進(jìn)展數(shù)據(jù)操作，而Customized Query在技術(shù)方面那么要求更高，需要用戶自定義java文件。Cloud Query (云查詢)Cloud Query作為Yonghong Z-Suite云計(jì)算的接口為用戶提供云數(shù)據(jù)查詢效勞。當(dāng)用戶購(gòu)置了Yonghong Z-Suite云計(jì)算模塊以后，需要根據(jù)自己的需求配置云環(huán)境，包括硬件配置和軟件配置兩局部。通過將后臺(tái)數(shù)據(jù)與云計(jì)算應(yīng)用關(guān)聯(lián)起來，云計(jì)算模塊就可以正常工作了。由于云計(jì)算支持的效勞器數(shù)量眾多，需要處理的數(shù)據(jù)量級(jí)別超過普通數(shù)據(jù)量，必須有特殊的

12、文件存儲(chǔ)系統(tǒng)為云查詢效勞。云計(jì)算所需要的查詢數(shù)據(jù)都會(huì)被單獨(dú)存放在指定的文件目錄下，Cloud Query創(chuàng)立新的查詢的時(shí)候，用戶可以直接指定到該目錄下，選擇已經(jīng)部署好并可以使用的文件創(chuàng)立云查詢表。一般情況下查詢數(shù)據(jù)會(huì)在創(chuàng)立查詢之前被定義，并定時(shí)與云端數(shù)據(jù)互動(dòng)更新，保證在文件夾數(shù)據(jù)是最新的，這也是Yonghong Z-Suite相對(duì)于同類軟件的獨(dú)有的功能。Cloud Query同時(shí)支持用戶通過調(diào)用云計(jì)算的API 接口生成的云數(shù)據(jù)文件。這種方式相比擬通過系統(tǒng)生成的文件更加靈敏方便，但是對(duì)于用戶的技術(shù)要求也很高，需要用戶自己設(shè)計(jì)程序和應(yīng)用。由此產(chǎn)生的查詢表單與其他查詢功能產(chǎn)生的表單是一致的，沒有特別

13、的地方。Embed Query (嵌入式查詢)相對(duì)于其他四個(gè)查詢功能，Embed Query提供的功能比擬簡(jiǎn)單，適用于數(shù)量級(jí)別要求不高的用戶。當(dāng)用戶的數(shù)據(jù)量不大，參數(shù)對(duì)象有限，數(shù)據(jù)關(guān)系固定，更新需求不多的時(shí)候，Embed Query可以很好地滿足了這種數(shù)據(jù)固化的需求。通過提供簡(jiǎn)單的自定義查詢方式，方便用戶直接創(chuàng)立數(shù)據(jù)構(gòu)造，定義參數(shù)類型，給參數(shù)賦值，生成所需要的查詢表單。VPMZ產(chǎn)品支持權(quán)限控制模塊，在系統(tǒng)中分為個(gè)模塊，分別是提供管理用戶信息和管理訪問權(quán)限的功能。用戶可以選擇權(quán)限控制的類型，一種是不需要權(quán)限控制，一種是選擇產(chǎn)品自帶的文件系統(tǒng)權(quán)限控制，還有一種是用戶自定義得權(quán)限控制系統(tǒng)，只要注冊(cè)兩

14、個(gè)類分別實(shí)現(xiàn)定義好的API就可以。權(quán)限控制模塊可以實(shí)現(xiàn)控制對(duì)資的認(rèn)證訪問。除了資級(jí)別的權(quán)限控制，Z產(chǎn)品還支持在數(shù)據(jù)級(jí)別的訪問權(quán)限控制，用戶能配置一個(gè)查詢的列對(duì)哪些用戶可見，一個(gè)查詢的行對(duì)哪些用戶可見。對(duì)于一個(gè)省的經(jīng)營(yíng)分析p 系統(tǒng)而言，不同地區(qū)的用戶只能看到本地區(qū)的數(shù)據(jù)，用這個(gè)功能很方便的就可以支持。CubeCube包括Dimension維度和Measure度量?jī)蓚€(gè)條件。一般維度用來給數(shù)據(jù)分組的，是表示一個(gè)方面；而量度是用來做匯總統(tǒng)計(jì)的數(shù)值。通過不同的方面，來分析p 一些數(shù)值的指標(biāo)，這樣數(shù)據(jù)就被組合成cube立方體，這符合人類的思維方式。對(duì)立方體的數(shù)據(jù)過濾，可以切成小立方，和一個(gè)平面片。這分別就

15、是BI的OLAP概念離得Slice 和Dice。維度是可以被劃分成hierarchy層次的，根據(jù)層次的上下，用戶可以向上、向下鉆取drill up、drill down， drill through。Materialized Query物化查詢Materialized Query 并不是真正意義上的數(shù)據(jù)查詢。它不與鏈接數(shù)據(jù)庫(kù)鏈接，不進(jìn)展實(shí)際的數(shù)據(jù)查詢，而是將數(shù)據(jù)庫(kù)里的數(shù)據(jù)保存到本地，讓保存在文件里的數(shù)據(jù)通過可操作而變得真實(shí)。它的主要功能是使數(shù)據(jù)展示和數(shù)據(jù)操作與其他查詢模塊產(chǎn)生的結(jié)果一致。Materialized Query所使用的數(shù)據(jù)已經(jīng)建立好的文件，而不是直接從數(shù)據(jù)庫(kù)里讀取數(shù)據(jù)。因此用戶會(huì)困惑并質(zhì)疑文件里的數(shù)據(jù)到底是否能按照數(shù)據(jù)庫(kù)的操作方式進(jìn)展真正的操作。當(dāng)數(shù)據(jù)文件通過特別的存儲(chǔ)技術(shù)被讀取并參加到查詢結(jié)果的時(shí)候，用戶可以通過Mater