版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
審計數(shù)據(jù)采集與分析技術
計算機審計的含義
?計算機審計有3層含義:
一面向數(shù)據(jù)的審計
一面向現(xiàn)行信息系統(tǒng)的審計
一對信息系統(tǒng)生命周期的審計
面向數(shù)據(jù)的計算機審計流程
?審前調查:電子數(shù)據(jù)的組織、處理和存儲
?數(shù)據(jù)采集:審計接口、數(shù)據(jù)庫訪問技術、數(shù)據(jù)采集技術
?數(shù)據(jù)清理、轉換、驗證、建立中間表
?數(shù)據(jù)分析?:數(shù)據(jù)分析技術、SQL、審計軟件
?審計取證
一、審前調查及電子數(shù)據(jù)的組織、處理和存儲
1.審前調查的內容和方法
?對組織結構調查
?對計算機信息系統(tǒng)的調查
?提出數(shù)據(jù)需求
2.電子數(shù)據(jù)的組織、處理和存儲
電子數(shù)據(jù)處理的特點
?存儲介質改變
?基于一定的數(shù)據(jù)處理平臺,有一定的數(shù)據(jù)模型
?數(shù)據(jù)表示編碼化(各種編碼)
?帶來系統(tǒng)控制和數(shù)據(jù)安全性的新問題
?審計線索改變
如何表示數(shù)據(jù)
?數(shù)據(jù)類型與數(shù)據(jù)取值
一數(shù)據(jù)類型決定了取值范圍與運第范圍
?數(shù)據(jù)模型
一數(shù)據(jù)模型是對現(xiàn)實世界數(shù)據(jù)特征的抽象
-它提供模型化數(shù)據(jù)和信息的工具
數(shù)據(jù)模型的2個層次
?概念模型
一E-R模型的要素
?實體:客觀存在并可以相互區(qū)分的事物,用方框表示
?屬性:實體的特征或性質,用橢圓表示
?聯(lián)系:實體之間的聯(lián)系,用菱形表示
?數(shù)據(jù)模型
-關系模型
一層次模型
-網狀模型
數(shù)據(jù)模型的3個要素
?數(shù)據(jù)結構
-描述模型的靜態(tài)特征
-是刻畫數(shù)據(jù)模型最重要的方面
?數(shù)據(jù)操作
-描述模型的動態(tài)特性
?數(shù)據(jù)檢索
?數(shù)據(jù)更新(增加、刪除、修改)
?約束條件
-一組完整性規(guī)則的集合
?實體完整性
?引用(參照)完整性
?用戶定義的完整性
關系模型
?關系模型是目前最常用的一-種數(shù)據(jù)模型
?關系數(shù)據(jù)庫采用關系模型作為數(shù)據(jù)的組織方式
?關系模型建立在嚴格的關系代數(shù)基礎之上
?關系模型概念單「用關系表示實體以及實體之間的聯(lián)系
?關系數(shù)據(jù)庫的標準語言SQL是一種非過程化語言,使用方便
關系模型的數(shù)據(jù)結構
?關系
-一張二維表,每一列都不可再分
-表中的行、列次序并不重要
?元組
-二維表中的每一行,相當于一條記錄
?屬性
-二維表中的每一列,屬性有名稱與類型。
-屬性不可再分,不允許重復
?主犍
-由表中的屬性或屬性組組成,用于唯一確定一條記錄
?域
-屬性的取值范圍
?關系模式
-記錄結構的描述,對應關系表的表頭
關系模型的數(shù)據(jù)運算
?傳統(tǒng)的集合運算
-并(UNION)
-交(INTERSECTION)
-差(MINUS)
-笛卡兒積
?專門的關系運算
-選擇(SELECTION)
-投影(PROJECT)
-連接(JOIN)
?連接的含義:相容屬性之間的關系
?連接的類型(內連接、外連接、自然連接)
“數(shù)據(jù)文件”的含義
?“數(shù)據(jù)文件''泛指各種用來存儲數(shù)據(jù)的文件。
在數(shù)據(jù)庫技術誕生之前,它指的是存放數(shù)據(jù)的文件本身。
數(shù)據(jù)庫技術誕生后,數(shù)據(jù)由DBMS管理,數(shù)據(jù)文件是存放物理數(shù)據(jù)庫的載體。
?不同的DBMS存儲數(shù)據(jù)的方式是不同的。
FoxPro一一個邏輯上的表對應一個“庫文件”(dbf)
-Access一所有的數(shù)據(jù)庫對象放在一個數(shù)據(jù)庫文件中C.mdb)
-IBMDB2一一張表的數(shù)據(jù)可能分別放在不同的數(shù)據(jù)文件中
?除了DBMS產生和維護的數(shù)據(jù)文件之外,還有很多應用程序管理的數(shù)據(jù)文件,如各種臨時文
件、數(shù)據(jù)交換文件等。
關系模型的完整性約束條件
?實體完整性(EntityIntegrity)
—關鍵字屬性的組成部分不能為空值
?參照完整性(ReferentialIntegrity)
——參照表中的外關鍵字要么取空值,要么取被參照表中的某?主關鍵字的值
?用戶定義完整性(User-DefinedIntegrity)
—具體應用環(huán)境的完整性約束,反映了某一具體應月所涉及的數(shù)據(jù)應滿足的語義要求
關系模型的特點
?關系模型的概念單一
-實體以及實體之間的聯(lián)系都用關系來表示。
-關系之間的聯(lián)系則是通過相容(來自同一個域)的屬性來表示。
?關系必須是規(guī)范化的關系
-最基本的要求是每一個分量是一個不可分的數(shù)據(jù)項,亦即不允許表中還有表(滿足第一
范式,1NF)
?在關系模型中,用戶對數(shù)據(jù)的檢索操作不過是從原來的表中得到一張新的表
生命周期法的6個階段
?需求分析
?概念結構設計
?邏輯結構設計
?物理數(shù)據(jù)庫設計
?數(shù)據(jù)庫實施
?運行維護
數(shù)據(jù)庫設計方法
(1)面向數(shù)據(jù)的方法,以信息需求為主,兼顧處理需求;
(2)面向過程的方法,以處理需求為主,兼顧信息需求
需求分析
需求分析的重點是獲得兩方面的需求:
(1)信息需求
定義未來信息系統(tǒng)使用的全部信息,了解各項數(shù)據(jù)間的本質聯(lián)系,描述數(shù)據(jù)的內容和結構以
及它們之間的聯(lián)系等。
(2)處理需求
定義未來信息系統(tǒng)數(shù)據(jù)處理的功能及功能與數(shù)據(jù)之間的聯(lián)系。同時考慮性能、安全性和完整
性約束。
自頂向下的結構化分析方法
?自頂向下的結構化分析方法是需求分析階段的一種常用方法。它的核心思想是:自頂向下逐
層分解,直到每一項功能都可以被容易地實現(xiàn)為止。
?SA方法中要用到數(shù)據(jù)流程圖(DataFlowDiagram,DFD)來描述數(shù)據(jù)的處理過程。數(shù)據(jù)流圖
是從“數(shù)據(jù)”和“處理”兩方面來表達數(shù)據(jù)處理過程的一種國形化的表示方法。
數(shù)據(jù)字典
?數(shù)據(jù)字典是在系統(tǒng)設計過程中對各類基本要素進行描述的集合。它是描述系統(tǒng)邏輯模型的重
要工具。數(shù)據(jù)字典的組戊部分:
數(shù)
據(jù)項
數(shù)據(jù)
結
數(shù)據(jù)
流
數(shù)據(jù)
存
處理
過
?其中數(shù)據(jù)項是數(shù)據(jù)的最小組成單位,若干個數(shù)據(jù)項可以組成一個數(shù)據(jù)結構,數(shù)據(jù)字典通過對
數(shù)據(jù)項和數(shù)據(jù)結構的定義來描述數(shù)據(jù)流和數(shù)據(jù)存儲的內容。
數(shù)據(jù)庫表結構定義
概念結構設計的策略
?自頂向下:首先定義全局概念結構的框架,再做逐次細化。
?自底向上:首先定義每?局部應用的概念結構,然后按■定的規(guī)則把它們集成起來,得到全
局概念結構。
?由里向外:首先定義最重要的那些核心結構,再逐漸向外擴充。
?混合策略:把自頂向下和自底向上結合起來的方法。它先自頂向下設計一個概念結構的框架。
然后以它為骨架再自底網上設計局部概念結構,并把它們集成起來。
用E-R方法進行概念結構設計的簡要步驟
?設計局部E-R模型
?將局部E-R模型集成為全局E-R模型
-屬性沖突
一命名沖突
-結構沖突
?對全局E-R模型進行優(yōu)化
邏輯結構設計的步驟
?形成初始關系數(shù)據(jù)庫模式
?關系模式規(guī)范化和優(yōu)化
?外模式設計
-提供了數(shù)據(jù)的邏輯獨立性
-能適應用戶對系統(tǒng)的不同需求
-具有一定的安全保密作用
索引設計
聚簇設計
二、審計接口
什么是審計接口
是從被審計信息系統(tǒng)向審計應用系統(tǒng)傳送審計信息的規(guī)范和程序。
接口包含兩方面內容:
-傳送數(shù)據(jù)的格式和規(guī)范
-完成傳送作業(yè)的程序
數(shù)據(jù)傳遞的方式:
-系統(tǒng)內部多采用參數(shù)或共享數(shù)據(jù)來完成
系統(tǒng)與系統(tǒng)之間傳遞信息需要開發(fā)專用的數(shù)據(jù)接口
審計接口的分類
-按接口的用途劃分,可以分為通用接口和專用接口;
-按接口與源系統(tǒng)和目標系統(tǒng)的耦合程度劃分,可以分為強耦合接口、弱耦合接口和一般
耦合接口;
-按接口中數(shù)據(jù)傳輸?shù)念l率來劃分,可以分為實時接口與周期性接口。
審計接口的分層模型
接口可以分為3層
一邏輯層:表示信息含義的語言,對信息的含義進行定義和描述;
一傳輸層:載運信息語言的方式,選擇最合適的方式完成源系統(tǒng)到目標系統(tǒng)的信息傳輸;
-控制層:控制信息交換過程的規(guī)程,保證信息傳輸?shù)倪m時性、正確性和有效性。
邏輯層
?又稱為接口標準
?描述接口標準的語法必須沒有二義性
傳輸層的實現(xiàn)形式
?被審計單位信息系統(tǒng)和審計系統(tǒng)之間采用數(shù)據(jù)庫連接件通過計算機網絡直接相連。
?被審計單位信息系統(tǒng)和審計應用系統(tǒng)采用交換文件傳輸數(shù)據(jù)。
控制層一數(shù)據(jù)驗證
?核對總記錄數(shù)、總金額
?檢查借貸是否平衡
?順序碼斷號、重號驗證
?檢查勾稽關系
三、審計數(shù)據(jù)采集
ODBC驅動程序
?基于文件的驅動程序
-既處理ODBC調用也處理SQL語句
-依據(jù)其訪問數(shù)據(jù)的存取方式還可以分為兩種
?宜接存取數(shù)據(jù)
?采用客戶機/服務器模式
?基于DBMS的驅動程序
-只處理ODBC調用
把SQL語句的處理交給數(shù)據(jù)庫引擎
-通過單獨的引擎訪問物理數(shù)據(jù)
-既可以和數(shù)據(jù)源存儲在同一個機器匕也可以分別存儲在網絡中的不同機器匕甚至可
以通過網關訪問。
ODBC數(shù)據(jù)源
?機器數(shù)據(jù)源
-存儲在由用戶定義名字的系統(tǒng)上
-可以分為用戶數(shù)據(jù)源和系統(tǒng)數(shù)據(jù)源
?文件數(shù)據(jù)源
-存儲于一個文件中
-允許連接信息由一個用戶重復使用或者由幾個用戶共享
-驅動程序管理器用.dsn文件中的信息連接數(shù)據(jù)源
-這個文件可以像其他任何文件一樣操作
-一個文件數(shù)據(jù)源沒有數(shù)據(jù)源名,并且它不注冊到任何用戶或機器上
ODBC的使用
1.創(chuàng)建ODBC數(shù)據(jù)源
不同的駁動程序提供的ODBC數(shù)據(jù)源配置界面不同
2.使用ODBC獲取數(shù)據(jù)
-在審計軟件中使用
-在DBMS中使用
-在Excel等軟件中使用
IDAPI
IDAPI是由Borland公司為首發(fā)布的一個異構數(shù)據(jù)庫訪問接口。它是一個強大的數(shù)據(jù)庫引擎,
基于驅動程序的體系結構和面向對象的設計方法為各種數(shù)據(jù)庫的訪問提供了一致的接口,擴
展和定制起來很容易。
UDA
Microsoft的UDA為關系型或非關系型數(shù)據(jù)訪問提供了一致的訪問接口。這個一致的接口使
得應用程序能夠通過它來訪問各種各樣的數(shù)據(jù)。同時,UDA的多層結構和擴展能力使得它具
有極強的生命力。
UDA的層次模型
UDA的兩層軟件接口
?OLEDB
-系統(tǒng)級的編程接口,定義了一組接口,封裝了各種數(shù)據(jù)系統(tǒng)的訪問操作;
-提供了一組標準的服務組件,用于提供查詢、緩存、數(shù)據(jù)更新、事務處理等操作;
-是新的底層接口,采用一種“通用的”數(shù)據(jù)訪問范例,能夠處理任何類型的數(shù)據(jù),不需考
慮格式和存儲方法。
?ADO
-應用層的編程接口,以OLEDB為基礎并對其進行了封裝;
-通過OLEDB提供的接口訪問數(shù)據(jù),適合于各種客戶機/服務器應用系統(tǒng)和基于Web的應
用:
-具有更好的靈活性,使用方便,效率更高。
用文本文件交換數(shù)據(jù)
?優(yōu)點:
-靈活方便
-數(shù)據(jù)量大小基本不受限制
?缺點;
-占用較大的存儲空間
-較多的傳輸時間
-需要進行類型或字段名稱的重定義
?分類:
-分隔符形式
-固定寬度
?分隔符形式的文本文件
-以回車換行符號作為記錄間的分隔
-以分隔符作為字段之間的分隔
一第一行可以表示字段名
-可以有文本識別符號
?固定寬度的文本文件
-以回車換行符號作為記錄間的分隔
-以起始位置和寬度來標識字段
-第一行一般不表示字段名
-一般沒有文本識別符號
Excel電子表格
采集電子表格中的數(shù)據(jù)
在訪問Excel電子表格中的數(shù)據(jù)時,要特別注意這樣兩個問題:
-關系數(shù)據(jù)庫的規(guī)范化問題。應該保證每一列只有一個標題,且這個標題是最高層次的標
題。
-數(shù)據(jù)類型的一致性問題.Excel工作表中每一個單元格都可以有不同的數(shù)據(jù)類型,因此每
一列中的數(shù)據(jù)類型可能會不一致。而關系數(shù)據(jù)庫要求表中每個字段的類型是固定的。如
果出現(xiàn)這種情況,需要首先統(tǒng)一Excel工作表中每一列的數(shù)據(jù)類型。否則將不能訪問數(shù)據(jù)。
數(shù)據(jù)采集的工具
?審計軟件
?DBMS及數(shù)據(jù)倉庫工具
—DBMS,如Access、FoxPro等
-數(shù)據(jù)庫實用工具,如數(shù)據(jù)庫附加
一數(shù)據(jù)(倉)庫導入/導出工具,如MSDTS等
?一些通用的數(shù)據(jù)分析工具
-基于表格的分析工具EXCEL
?數(shù)據(jù)庫編程工具
-PowerBuilder等
-數(shù)據(jù)庫訪問對象、方法,如ADO等
數(shù)據(jù)采集的策略
?直接拷貝
-審計人員具有一定的經驗
-被審計系統(tǒng)相對簡單
一分析工具能夠支持
?使用專門的審計(數(shù)據(jù))接口
-被審計單位的信息系統(tǒng)已有專門的數(shù)據(jù)接口
-這個接口能夠滿足審計的要求
?實現(xiàn)臨時的審計接口
-被審計單位的信息系統(tǒng)沒有實現(xiàn)數(shù)據(jù)接口
-實現(xiàn)了的數(shù)據(jù)接口不能滿足審計要求
臨時審計接口的兩種實現(xiàn)方式
?交換文件(文件傳輸)
-被審計信息系統(tǒng)按照審”?要求,將原木不符合審訂軟件要求的數(shù)據(jù)轉換成與審計軟件要
求相一致的格式提供給審計人員
?數(shù)據(jù)庫連接
-審計人員通過ODBC等數(shù)據(jù)庫訪問接口直接訪問被審計信息系統(tǒng)的數(shù)據(jù),并把數(shù)據(jù)轉換
成審計所需的格式。
數(shù)據(jù)采集的實現(xiàn)
?使用移動存儲介質拷貝數(shù)據(jù)文件;
?通過簡單設備建立審計人員的計算機與被審計單位的計算機之間的連接;
?將審計人員的計算機接入被審計單位的局域網絡中;
?通過廣域網絡遠程采集數(shù)據(jù)。
四、數(shù)據(jù)清理與轉換技術
數(shù)據(jù)偵量的評價指標
?準確性:數(shù)據(jù)值與實際值的一致程度。
?完整性:需要值的屬性中無值缺失的程度。
?一致性:數(shù)據(jù)對一組約束的滿足程度。
?唯一性:數(shù)據(jù)記錄(及碼值)的唯一性。
?適時性:在所要求的或指定的時間提供一個或多個數(shù)據(jù)項的程度。
?有效性:維護的數(shù)據(jù)足夠嚴格以滿足分類準則的接受要求。
為什么要進行數(shù)據(jù)清理
?值缺失限制了審計人員的數(shù)據(jù)分析工作;
?數(shù)據(jù)表中的空值直接影響了數(shù)據(jù)分析結果的準確性;
?大量的冗余數(shù)據(jù)降低了數(shù)據(jù)分析的效率;
?數(shù)據(jù)值域定義的不完整性給數(shù)據(jù)審計工作帶來障礙。
數(shù)據(jù)清理的主要工作
?確認輸入數(shù)據(jù)
?消除錯誤的空值(NULL)
?保證數(shù)據(jù)值落入定義域
?消除冗余數(shù)據(jù)
?解決數(shù)據(jù)中的沖突(不一致)
數(shù)據(jù)清理的基本技術
?解決不完整數(shù)據(jù)(即值缺失)的方法:
?錯誤值的檢測及解決方法:用統(tǒng)計分析的方法識別可能的錯誤值或異常值,如偏差分析、識
別不遵守分布或回歸方程的值:使用簡單規(guī)則庫(常識性規(guī)則、'業(yè)務特定規(guī)則等)檢查數(shù)據(jù)
值;使用不同屬性間的約束;使用外部數(shù)據(jù)飛
-不一致性的檢測及解決方法:定義完整性約束用于檢測不一致性:通過分析數(shù)據(jù)發(fā)現(xiàn)聯(lián)系。
值缺失的解決方法
空值的處理
?在SQLServer的查詢分析器(SQLQueryAnalyzer)中執(zhí)行下列SQL語句用“0”替換某些字
段的空值:
-UPDATE清理數(shù)據(jù)表SETzj=0WHEREzjISNULL
-UPDATE清理數(shù)據(jù)表SETkl=0WHEREklISNULL
-UPDATE清理數(shù)據(jù)表SETmj=0WHEREmjISNULL
消除冗余數(shù)據(jù)
?清理憑證數(shù)據(jù)表中科目代碼以“s”開頭的現(xiàn)金流量輔助信息冗余記錄:
-DELETEFROM清理數(shù)據(jù)表WHEREkmdhLIKE's%'
錯誤數(shù)據(jù)的處理辦法
?審計人員采集數(shù)據(jù)后,在下圖所示的固定資產表中發(fā)現(xiàn)資產原值字段存在負值的情況,這與
會計處理的常規(guī)不符。
錯誤數(shù)據(jù)的處理辦法
?在確認負的資產原值是錯誤數(shù)據(jù)后,審計人員可以在SQLServer的查詢分析器中執(zhí)行SQL
語句:
-UPDATE固定資產表SET資產原值=人85(資產原值)WHERE資產原值<0
-改正資產原值的錯誤取值。
為什么要進行數(shù)據(jù)轉換
?被審計單位信息系統(tǒng)的多樣性帶來了數(shù)據(jù)的不一致性:
?被審計系統(tǒng)的安全性措施給審計工作帶來障礙;
?審計目的的不同決定了審計數(shù)據(jù)的范圍和要求不同;
?數(shù)據(jù)轉換是數(shù)據(jù)分析、處理的前提。
數(shù)據(jù)不一致性的表現(xiàn)
?同?字段在不同的應用中具有不同的數(shù)據(jù)類型
?同一字段在不同的應用中具有不同的名稱
?同名字段,不同含義
?同一信息,在不同的應用中有不同的格式
?同一信息,在不同的應用中有不同的表達方式
數(shù)據(jù)轉換的內容和任務
1、將被審計單位的數(shù)據(jù)有效地裝載到審計軟件所操縱的數(shù)據(jù)庫中:
2、明確地標識出每張表、每個字段的含義及相互之間的關系。
數(shù)據(jù)轉換的基本類型
1.簡單變換
(1)數(shù)據(jù)類型轉換
(2)日期/時間格式的轉換
(3)代碼轉換
(4)值域轉換
2.清潔和刷洗
(1)有效值檢查
(2)復雜的重新格式化
簡單變換
?它是數(shù)據(jù)轉換中最簡單的形式
?它是所有數(shù)據(jù)轉換的基本構成單元
?它一次改變一個字段的屬性
?它不考慮該屬性的背景或與它相關的其他字段的信息
簡單變換一數(shù)據(jù)類型轉換
?最常見的簡單變換是轉換一個數(shù)據(jù)元的類型。它是將一種類型的數(shù)據(jù)轉換成另一種類型的數(shù)
據(jù)。
?數(shù)據(jù)轉換的前提是類型相容。類型相容指的是一種類型數(shù)據(jù)的值域可以通過常用的轉換函數(shù)
映射到另一種類型的值域上。
?這種映射不會丟失數(shù)據(jù)的精確度。
簡單變換一日期時間格式轉換
簡單變換一代碼轉換
簡單變換一一值域轉換
?代碼轉換可以看成是一類特殊的值域轉換。
清潔和刷洗
?清潔和刷洗指的是比簡單變換更更雜的一種數(shù)據(jù)變換。
?在這種變換中,要檢查的是字段或字段組的實際內容而不僅是存儲格式。
?一種清潔和刷洗是檢查數(shù)據(jù)字段中的有效值。這可以通過范圍檢驗、枚舉清單和相關校驗來
完成。
數(shù)據(jù)轉換的一般方法
?專用工具
?SQL語言
?程序編碼
必須運用程序編碼的場合
?對非關系型數(shù)據(jù)庫中的數(shù)據(jù)進行轉換
?對復雜的數(shù)據(jù)文件中的數(shù)據(jù)進行轉換
?數(shù)據(jù)轉換的要求固定而使用頻繁時
五、審計數(shù)據(jù)驗證
不同階段的數(shù)據(jù)驗證
?數(shù)據(jù)采集階段
-檢查被審計單位提供資料的完整性,保證數(shù)據(jù)采集工作準確有效地進行,同時對采集到
的數(shù)據(jù)進行確認,排除遺漏和失誤。
?數(shù)據(jù)清理階段
-確認數(shù)據(jù)清理工作沒有損害數(shù)據(jù)整體的完整性和正確性。
?數(shù)據(jù)轉換階段
數(shù)據(jù)轉換中,審計人員會將原始電子數(shù)據(jù)中表名、字段名、記錄值代碼以及表表關聯(lián)的
經濟含義明確標識出來,這需要進行大量的查詢、替換修改、插入數(shù)據(jù)、更新數(shù)據(jù)、刪
除數(shù)據(jù)等操作,每一步轉換工作都有可能影響到數(shù)據(jù)的完整性和正確性,所以在這一階
段進行數(shù)據(jù)驗證確有必要。
數(shù)據(jù)驗證的技術和方法
?數(shù)據(jù)采集階段
一核對總記錄數(shù)、總金額,檢查借貸是否平衡,順序碼斷號、重號驗證等。
?數(shù)據(jù)清理階段
一核對總金額、保持借貸平衡等。
?數(shù)據(jù)轉換階段
一核對總金額、勾稽關系,數(shù)據(jù)結構確認等。
六、審計數(shù)據(jù)分析
審計數(shù)據(jù)分析的具體操作
?核對:
?檢查:
?復算:
?判斷:
分析模型的演變
?隨著用戶對數(shù)據(jù)分析的深度和靈活程度要求越來越高,數(shù)據(jù)分析漸漸從靜態(tài)數(shù)值的相互比較
轉變到從多個數(shù)據(jù)源中綜合數(shù)據(jù),從多個角度觀察數(shù)據(jù)的復雜、動態(tài)的分析。
?根據(jù)處理數(shù)據(jù)的范圍、用戶一分析人員的交互需要、多維分析需求及現(xiàn)有工具的支持等因素,
可以將數(shù)據(jù)分析分為4種模型,這4種數(shù)據(jù)分析模型一種比一種深入,從描述基本事實到尋找
原因,從代入變量值進行預測到尋找關鍵變量。
四種數(shù)據(jù)分析模型
?絕對模型
?解釋模型
?思考模型
?公式模型
絕對模型(CategoricalModel)
?它屬于靜態(tài)數(shù)據(jù)分析
?它通過比較歷史數(shù)據(jù)值或行為來描述過去發(fā)生的事實
?瓷詢比較簡單,僅是值的比較
?綜合路徑是原有數(shù)據(jù)庫設計時定義好的,用戶交互少
?支持工具廣泛(包括一般的查詢表格工具)。
解釋模型(ExegeiicalModel)
?主要還是靜態(tài)數(shù)據(jù)分析
?用戶一分析人員利用系統(tǒng)已有的多層次的綜合路徑層層細化,找出事實發(fā)生的原因
?如果分析人員感興趣的數(shù)據(jù)不能通過已有路徑進行綜合,則需要臨時建立多維視圖。
思考模型(ContemplativeModel)
?它屬于動態(tài)數(shù)據(jù)分析
?它旨在說明在一維或多維上引入?組具體變量或參數(shù)后會發(fā)生什么
?需要較高層次的數(shù)據(jù)分析人員介入
?分析人員在引入確定的變量或公式關系時,須創(chuàng)建大量的綜合路徑
?這類模型的支持工具相當少,大多只提供單一維上的數(shù)據(jù)子集處理。
公式模型(FormulaicModel)
公式模型是動態(tài)性最高的一類模型,用于表示在多個堆上,需要引入哪些變量或參數(shù),以
及引入后所產生的結果。
3種類型的數(shù)據(jù)分析方法與工具
-查詢型分析
-驗證型分析
-發(fā)掘型分析
查詢型分析(Query)
?主要指用戶對數(shù)據(jù)庫中的記錄進行訪問查詢;
?關系數(shù)據(jù)庫管理系統(tǒng)是H前數(shù)據(jù)庫管理系統(tǒng)的主流,查詢型分析主要的對象就是關系數(shù)據(jù)庫
中的二維表.
?要進行查詢型分析,必須先對目標系統(tǒng)的數(shù)據(jù)模型有所了解。
?可以采用SQL等語言來交互描述查詢要求;
?采用SQL可以十分靈活地進行交互式查詢,但要求用戶掌握SQL語言,并對訪問的數(shù)據(jù)庫的
結構有所了解:
查詢型分析中的數(shù)據(jù)建模
?根據(jù)相關法律法規(guī)建立模型
?根據(jù)系統(tǒng)數(shù)據(jù)之間的勾稽關系建立模型
?根據(jù)不同系統(tǒng)數(shù)據(jù)之間的關系建立模型
?根據(jù)審計業(yè)務流程建立模型
?根據(jù)以往審計經驗建立模型
?根據(jù)自然規(guī)律建立模型
根據(jù)相關分析指標建立模型
驗證型分析(Verification)
驗證型分析指用戶先提出自己的假設,然后利用各種I:具通過反復的、遞歸的檢索查詢以驗
證或否定自己的假設。
從用戶的觀點來看,他們是在從數(shù)據(jù)中發(fā)現(xiàn)事實。
多維分析工具進行的就是典型的驗證型分析。它通過對信息的多種可能的觀察角度進行快
速,一致和交互性的存取,從而能夠對數(shù)據(jù)進行深入地分析和觀察。
發(fā)掘型分析(Discovery)
發(fā)掘型分析是指用戶從大量數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式,預測趨勢和行為的一種數(shù)據(jù)分析方法。
發(fā)掘型數(shù)據(jù)分析工具主要指數(shù)據(jù)挖掘(DataMining)軟件工具。
發(fā)掘型分析能挖掘數(shù)據(jù)間潛在的模式,發(fā)現(xiàn)用戶可能忽略的信息,并為審計業(yè)務人員做出前
瞻性的、基于知識的決策做出貢獻。
三種分析方法的特點比較
?查詢型分析基本上是在已知數(shù)據(jù)結構的情況下對細節(jié)信息的存取,數(shù)據(jù)分析的成分很少
?驗證型分析處于較淺的層次
?發(fā)掘型分析是較深層次的數(shù)據(jù)分析。
三種分析方法涉及的分析模型
?查詢型分析基本上不涉及數(shù)據(jù)分析模型;
?驗證型分析主要實現(xiàn)了絕對模型、解釋模型和思考模型;
?發(fā)掘型分析則實現(xiàn)了公式模型。
操作型處理和分析型處理
?近年來,人們逐漸認識到計算機系統(tǒng)中存在著兩類不同的處埋:操作型處理和分析型處埋。
?操作型處理也叫事務處理,是指對數(shù)據(jù)庫聯(lián)機地進行日常操作,通常是對一個或一組記錄的
查詢和修改,主要是為特定的應用服務。人們關心的是響應時間、數(shù)據(jù)的安全性和完整性。
分析型需求的產生要求數(shù)據(jù)倉庫技術作為支撐
?OLTP系統(tǒng)的長期運行會積累大量的原始數(shù)據(jù),有效對這些原始數(shù)據(jù)進行分析,發(fā)現(xiàn)數(shù)據(jù)中
蘊涵的模式和規(guī)律,幫助人們判斷和決策,是一種有別于聯(lián)機事務處理的數(shù)據(jù)處理需求,可
以稱之為分析型數(shù)據(jù)處理,或稱為面向決策支持系統(tǒng)(DecisionSupportSyslem,DSS)的數(shù)
據(jù)處理,它用于管理人員的決策分析。
?分析型數(shù)據(jù)處理僅靠傳統(tǒng)的數(shù)據(jù)庫技術是不夠的,需要有新的數(shù)據(jù)處理技術,數(shù)據(jù)倉庫技術
就是為解決這一要求應運而生的。
分析型數(shù)據(jù)處理的技術
數(shù)據(jù)倉庫技術包括:
一數(shù)據(jù)倉庫(DataWarehouse)
一聯(lián)機分析處理(OnlineAnalyticalProcessing,OLAP)
一數(shù)據(jù)挖掘(DataMining)
什么是數(shù)據(jù)倉庫
數(shù)據(jù)倉庫的創(chuàng)始人Inmon對數(shù)據(jù)倉庫的定義是:
數(shù)據(jù)倉庫就是面向主題的、集成的、穩(wěn)定的、不同時間的數(shù)據(jù)集合,用以支持經營管理中的
決策制定過程。
數(shù)據(jù)倉庫的特征
與聯(lián)機事務處理領域的數(shù)據(jù)庫技術相比,數(shù)據(jù)倉庫具有以下特征:
一數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的
一數(shù)據(jù)倉庫的數(shù)據(jù)是集成的
一數(shù)據(jù)倉庫的數(shù)據(jù)是穩(wěn)定(不可更新)的
-數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間變化的
數(shù)據(jù)倉庫的體系結構
數(shù)據(jù)倉庫系統(tǒng)的八個組成部分
?數(shù)據(jù)源
?數(shù)據(jù)抽取、轉換、裝載和刷新工具
?數(shù)據(jù)建模工具
?監(jiān)控和管理工具
?元數(shù)據(jù)倉儲
?數(shù)據(jù)倉庫和數(shù)據(jù)集市的目標數(shù)據(jù)庫
?OLAP服務器
?前端數(shù)據(jù)訪問和分析工具
數(shù)據(jù)倉庫系統(tǒng)的一般應用過程
?從業(yè)務處理信息系統(tǒng)等外部數(shù)據(jù)源獲取數(shù)據(jù),經加工整理后進入數(shù)據(jù)倉庫
?根據(jù)數(shù)據(jù)分析挖掘的需求特性對數(shù)據(jù)進行建模和組織,用戶利用各種前端數(shù)據(jù)分析和挖掘工
具,通過OLAP服務器,對數(shù)據(jù)倉庫中的數(shù)據(jù)作各種查詢、分析、挖掘匚作
數(shù)據(jù)倉庫技術在數(shù)據(jù)審計中的應用
?審計數(shù)據(jù)的采集和獲取
?審計數(shù)據(jù)在審計數(shù)據(jù)庫中的組織和存儲
?審計數(shù)據(jù)的訪問和分析
什么是聯(lián)機分析處理(OLAP)
?OLAP是一類軟件技術,它使用戶能夠從多種角度(維)對原始數(shù)據(jù)進行分析;通過快速、
一致、交互地存取來獲得對原始數(shù)據(jù)的深入「解。
?OLAP的目標是滿足決策支持或多維查詢和報表的需求,它的技術核心是“維”這個概念,因
此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。
?OLTP強調的是更新數(shù)據(jù)庫——向數(shù)據(jù)庫中添
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 河北專用中考物理復習方案時分子熱運動內能比熱容新人教解析學習教案
- 公開課教案教學設計人教初中語文七下木蘭詩(2025-2026學年)
- 聽障群體手語溝通能力提升的專項訓練與社會融入加速研究畢業(yè)論文答辯
- 華星學校協(xié)議書
- 地暖供料協(xié)議書
- 宿舍換床位協(xié)議書
- 合伙購廠協(xié)議書
- 合同補償款協(xié)議
- 店鋪監(jiān)控合同范本
- 家庭護理院協(xié)議書
- DL5190.4-2019電力建設施工技術規(guī)范第4部分:熱工儀表及控制裝置
- 阿特拉斯空壓機-培訓資料
- 2024年江蘇省海洋知識競賽備考試題庫(含答案)
- 高一語文經典古代詩詞賞析
- 協(xié)助扣劃存款通知書
- 自動控制原理課程設計報告恒溫箱
- 江西d照駕駛員理論考試
- GB/T 30340-2013機動車駕駛員培訓機構資格條件
- GB/T 19215.1-2003電氣安裝用電纜槽管系統(tǒng)第1部分:通用要求
- GB/T 13298-2015金屬顯微組織檢驗方法
- 滴滴打車用戶出行習慣報告
評論
0/150
提交評論