保險倉庫數(shù)據(jù)模型設計主題維度建模的基本概念模型概述模型介紹模型運用方法與技巧相關技術問題保險倉庫數(shù)據(jù)模型設計如何建立分析集市模型行業(yè)經(jīng)驗BI.InsuranceDWM工作組和建模持續(xù)發(fā)展業(yè)務需求安邦分析集市模型業(yè)務驅(qū)動根據(jù)固定報表和KPI、持續(xù)率、承保理賠、執(zhí)行力、再保五個數(shù)據(jù)集市的業(yè)務需求,結合BI.InsuranceDWM的建模方法,建立TaipingEDW分析集市模型保險倉庫數(shù)據(jù)模型設計分析集市模型概念維度建模一種非規(guī)范化的關系模型由一組屬性構成的表所組成表跟表之間的關系通過關鍵字和外鍵來定義以良好的可理解性和方便的產(chǎn)生報表來進行數(shù)據(jù)組織，很少考慮修改的性能通過SQL或者相關的工具實現(xiàn)數(shù)據(jù)的查詢和維護保險倉庫數(shù)據(jù)模型設計分析集市模型概念事實表（一）每一個事實表通常包含了業(yè)務需求所關心的一系列的指標值每一個事實表的行包括具有可加性的數(shù)值型的指標值文本事實通常具有不可預見的內(nèi)容，很難進行分析與維表相連接的外鍵通常具有兩個和兩個以上的外鍵外鍵之間表示維表之間多對多的關系保險倉庫數(shù)據(jù)模型設計分析集市模型概念事實表（二）事實表的特征非常的大包含幾萬、幾十萬甚至幾百幾千條的記錄內(nèi)容相對的窄列數(shù)較少經(jīng)常發(fā)生變化現(xiàn)實世界中新事件的發(fā)生→事實表中增加一條記錄典型情況下，僅僅是數(shù)據(jù)的追加事實表的使用各類指標值的聚集計算保險倉庫數(shù)據(jù)模型設計分析集市模型概念維表（一）每一張維表對應現(xiàn)實世界中的一個對象或者概念例如：客戶、產(chǎn)品、保單、標的、案件維表的特征包含了眾多描述性的屬性列如保單維表里的銷售渠道、保費區(qū)間、風險等級等通常情況下，跟事實表相比，行數(shù)相對較小通常<10萬條內(nèi)容相對固定幾乎就是一類查找表保險倉庫數(shù)據(jù)模型設計分析集市模型概念維表（二）維表的應用基于維屬性的過濾（切片、切塊等）基于維屬性的各種聚集操作報表中各類標簽的主要來源事實表通過維表進行引用保險倉庫數(shù)據(jù)模型設計分析集市模型概念

Facts屬性個數(shù)少（窄）記錄行數(shù)多（大）數(shù)值型指標隨著時間的推移，數(shù)據(jù)增長

Dimensions

屬性個數(shù)多（寬）記錄行數(shù)少（?。┟枋鲂詫傩造o態(tài)的，很少發(fā)生變化

事實表與維表的比較

保險倉庫數(shù)據(jù)模型設計分析主題域數(shù)據(jù)(AnalyticalSubjectAreas)

通過事實（Facts）和維度（Dimensions）模型方式表達，為典型保險分析應用提供分析型數(shù)據(jù)架構，為數(shù)據(jù)集市提供統(tǒng)一的指標和維度，為數(shù)據(jù)應用提供統(tǒng)一的數(shù)據(jù)信息。分析主題域數(shù)據(jù)，將業(yè)務需求階段定義的分析主題域，按照維度建模方法，格式化成符合維度－事實表的星型模型或雪花模型。其中維度信息由核心原子數(shù)據(jù)按照定義的層次形成相關的維度視圖，事實表數(shù)據(jù)通過核心原子數(shù)據(jù)相關主題域數(shù)據(jù)經(jīng)過匯總計算得到。核心原子數(shù)據(jù)和分析數(shù)據(jù)分別映射到不同的數(shù)據(jù)集市中。其中，典型的分析主題域如通用承保分析（Universalunderwritinganalysis）如下圖：保險倉庫數(shù)據(jù)模型設計分析集市模型設計步驟

需求整理指標維度矩陣設計集市層模型設計分析層模型保險倉庫數(shù)據(jù)模型設計維度指標矩陣維度指標矩陣是把需求轉(zhuǎn)化為多維模型的重要工具保險倉庫數(shù)據(jù)模型設計業(yè)務分析需求舉例

與上一年相比，各險種所占的份額有何差異?

每個機構在各險種所占份額是多少?機構險種時間2006和2007年度各險種份額對比20062007Thousands2006年度各機構在各險種上的份額保險倉庫數(shù)據(jù)模型設計維度建模舉例時間機構險種客戶保險倉庫數(shù)據(jù)模型設計主題維度建模的基本概念模型概述模型介紹模型運用方法與技巧相關技術問題保險倉庫數(shù)據(jù)模型設計元數(shù)據(jù)模型在整個系統(tǒng)架構中的定位ETL過程核心收付車險理賠財務面向業(yè)務應用數(shù)據(jù)集市Cube最終用戶基本上與業(yè)務數(shù)據(jù)同構保留詳細交易數(shù)據(jù)數(shù)據(jù)倉庫面向分析主題輕度匯總數(shù)據(jù)StarSchema建模中間表財務賬戶活動理賠事件收付費處理資金供應角色實物地理位置協(xié)議產(chǎn)品分析層保險倉庫數(shù)據(jù)模型設計分析層模型主題域分析層模型每個主題域為同類的業(yè)務處理，共享相同的維度承保理賠分析記錄安邦保險所關注的主要承保理賠業(yè)務指標。收付費分析記錄財務收付中應收保費、實收保費、應收率、應付賠款、實付賠款等收付類信息。核賠效率分析

記錄理賠環(huán)節(jié)中查勘、定損、核損、繕制過程的相關指標。保險倉庫數(shù)據(jù)模型設計主題維度建模的基本概念模型概述模型介紹模型運用方法與技巧相關技術問題保險倉庫數(shù)據(jù)模型設計分析層模型結構保險倉庫數(shù)據(jù)模型設計收付費分析的星型結構保險倉庫數(shù)據(jù)模型設計分析層模型介紹“承保理賠分析事實表”、“收付費分析事實表”、“核賠效率分析事實表”都是經(jīng)輕度匯總生成的表，它們?nèi)慷际鞘聞招褪聦嵄碇虚g事實表都是經(jīng)過版本化的歷史表，保存最細粒度的數(shù)據(jù)中間事實表主要用于生成輕度匯總表的過渡，除此之外，通過冗余相關屬性，中間事實表的設計也考慮了其它無法從直接從分析層計算的指標的計算保險倉庫數(shù)據(jù)模型設計事務型事實和快照型事實機構險種日期未決變化10112008-9-12100010112008-9-13-30010112008-9-12220020312008-9-1210020012008-9-12100020012008-9-13120020012008-9-14-2200事務型快照型快照型事實表的指標通常包含時點值，隨著時間積累，維度組合會越來越細，此類型的事實表通常用于粒度較粗的數(shù)據(jù)集市或Cube；而事務型事實表的度量都是可累加的，其對于維度較多的輕度匯總表是有利。如果OLAPserver支持在事務型事實表上計算時點值，建議在維度較細的Cube上使用事務型事實。機構險種日期期末未決10112008-9-12100010112008-9-1370010112008-9-14290020312008-9-1210020312008-9-1310020312008-9-1410020012008-9-12100020012008-9-13220020012008-9-140保險倉庫數(shù)據(jù)模型設計中間層歷史數(shù)據(jù)的版本化數(shù)據(jù)倉庫中的歷史數(shù)據(jù)決不會被刪除或覆蓋，因此需要加入數(shù)據(jù)版本特性來區(qū)分隨時間變化的業(yè)務信息，使得在任一給定時間點上都能檢索到正確的數(shù)據(jù)。數(shù)據(jù)是否需要版本化，首先依賴于實體是否有時變特性，比如“報案信息”通常是在某個時間點上發(fā)生，它就沒有時變特性，因此就不需要版本化。在實體中加入時間戳屬性可以實現(xiàn)數(shù)據(jù)版本化，這個時間戳可以基于業(yè)務涵義，如對保單的某次批改的生效日期；也可以僅僅是技術上的，比如員工某項登記信息被修改，則生成新的員工記錄，并指定該記錄的有效(Valid)期間，ETL處理需要實現(xiàn)數(shù)據(jù)相鄰版本時間戳的鏈接。需要為版本化的實體找出一個錨ID來唯一標識每個數(shù)據(jù)實例，比如保單實體的錨ID可以是保單號，表明該實體中最原子的粒度是保單。保險倉庫數(shù)據(jù)模型設計時間戳與數(shù)據(jù)版本業(yè)務信息的不同版本的時間鏈時間戳(start_date/end_date)員工姓名職位離職時間start_dateend_date張三初級核保人2006-5-212007-12-3張三中級核保人2007-12-39999-12-31李四業(yè)務員2004-3-122006-10-8李四業(yè)務經(jīng)理2006-10-82008-5-9李四業(yè)務經(jīng)理2008-5-92008-5-99999-12-31以上start_date為紅色的是該數(shù)據(jù)實例被創(chuàng)建時的版本，該值從邏輯上看應該為數(shù)據(jù)的業(yè)務創(chuàng)建日期，比如入職日期，但為了避免受到數(shù)據(jù)質(zhì)量的影響，我們通常把每個數(shù)據(jù)實例的第一個版本的start_date置為1900-01-01保險倉庫數(shù)據(jù)模型設計承保中間表場景示例保單號批單號保險起期保險金額保費核保日期批改原因startdateenddate0001－－－2006-3-712000802006-3-4N/A1900-1-12006-5-18000100012006-3-7002006-5-18注銷2006-5-189999-12-310002－－－2006-4-19223001202006-4-7N/A1900-1-12006-5-10000200022006-4-19223001202006-5-10修改2006-5-102006-5-21000200032006-4-19223001382006-5-21加保2006-5-219999-12-310003－－－2007-1-121200008902007-1-8N/A1900-1-19999-12-310004－－－2007-5-2570005002007-4-22N/A1900-1-19999-12-310005－－－2008-3-1440000036002008-3-8N/A1900-1-12008-4-6000500042008-3-1431000030002008-4-6退保2008-4-62008-4-16000500052006-3-1431000030002008-4-16修改2008-4-169999-12-31保險倉庫數(shù)據(jù)模型設計收付費中間表場景示例單據(jù)號type狀態(tài)應收保費實收保費應付賠款實付賠款應付手續(xù)費實付手續(xù)費startdateenddate0001保費應收2000.000.00

1900-1-12006-5-180001保費實收2000.002000.00

2006-5-189999-12-310002手續(xù)費應付

132.000.001900-1-12006-5-100002手續(xù)費實付

132.00132.002006-5-102006-5-110002手續(xù)費沖正

132.000.002006-5-119999-12-310003保費應收10000.000.00

1900-1-19999-12-310004賠款應付

26700.000.00

1900-1-19999-12-310005賠款應付

14700.000.00

1900-1-12006-4-60005賠款實付

14700.0014700.00

2006-4-69999-12-310006保費應收3500.000.00

1900-1-19999-12-31保險倉庫數(shù)據(jù)模型設計理賠中間事實表場景示例賠案號次數(shù)立案日期估損金額賠付金額結案日期結案狀態(tài)startdateenddate000112006-3-73000

9999-12-31N1900-1-12006-53-7300032002006-5-18Y2006-5-189999-12-31000212006-4-1912000

9999-12-31N1900-1-12006-5-10000212006-4-1911000

9999-12-31N2006-5-102006-5-21000212006-4-1911000100002006-5-21Y2006-5-219999-12-31000312007-1-12900

9999-12-31N1900-1-19999-12-31000412007-5-257000

9999-12-31N2007-5-29999-12-31000512008-3-1421000

9999-12-31N1900-1-12006-4-6000512008-3-1421000200002006-4-6Y2006-4-69999-12-31000522006-4-163003002006-5-26Y1900-1-19999-12-31保險倉庫數(shù)據(jù)模型設計中間層的構建算法請安邦項目組自行用Visio畫出算法流程圖，分頁貼在此處保險倉庫數(shù)據(jù)模型設計分析層模型未涵蓋的特殊分析應用需求中有部分的指標在計算上比較獨特，且與其它指標沒有太多的共享價值，因此未納入分析層模型的考查范疇，這些指標主要有：核保效率分析——用mid_policy_fact與核保信息表關聯(lián)，再經(jīng)過聚合計算可得到相應的分析指標理財險網(wǎng)點活動率——該指標為非累計指標，不考慮安置在分析層，可在構建CUBE時按原始算法計算，但日、月、季、年的匯總值要分別計算車貸險指標——該類指標的數(shù)據(jù)源比較特殊，不考慮建立分析層，可在構建CUBE時按原始算法計算保險倉庫數(shù)據(jù)模型設計從中間層到分析層——承保理賠簽單類只計算保單，口徑為：核保日期在當期andstart_date=‘1900-1-1’主要指標有：保險金額、保單保費、保單筆數(shù)、累計儲金、已驗車數(shù)量、應驗車數(shù)量需要減去退保和注銷會計年度類不考慮版本，所有記錄一起計算，口徑為：核保日期在當期保額和保費只累計變化值主要指標有：保費收入、批增批減保費（件數(shù)）、退保（注銷）保費（件數(shù)）等理賠類口徑：結案日期在當期或估損修改日期在當期部分指標只考慮起始兩個版本，即立案和結案，比如立案估損金額、結案天數(shù)主要指標有：已決筆數(shù)、已決賠款、未決筆數(shù)變化、未決賠款變化、立案估損金額、估損偏差絕對值、加權估損金額、結案天數(shù)特殊口徑類已賺保費－－算法參見“模型運用方法與技巧”有部分指標不需要定義在分析層，因為它們可以從以上指標衍生，比如車險續(xù)保指標、理財險指標，都可以從承保理賠分析表以保險止期維度為口徑聚合生成。保險倉庫數(shù)據(jù)模型設計從中間層到分析層——收付費收付費指標的主要口徑基本上都是以收付確認日期來計算，在源系統(tǒng)中體現(xiàn)為應收(付)確認日期和實收(付)確認日期需求中要求按幣種分別展現(xiàn)人民幣和非人民幣的統(tǒng)計值，由于本事實表已經(jīng)包含保單維度，因此這些指標都可以根據(jù)保單維度中的幣種重新匯總生成應收保費變化的計算規(guī)則是：應收一筆保費以正數(shù)累計，實收一筆保費以負數(shù)累計，對實收的沖正以正數(shù)累計滾動12個月財務保費收入是應收保費收入的衍生指標保險倉庫數(shù)據(jù)模型設計核賠效率分析核賠效率分析的指標基本都有共享的維度，因此為其建立一個分析層主題是合適的核賠效率分析涉及的源表比較分散，且增量機制較為復雜，因此建立中間表有一定的難度，目前的策略是參照原指標算法分別計算出各指標，并插入一臨時表中，再對該表執(zhí)行聚合操作由于源系統(tǒng)可能會更新核賠數(shù)據(jù)的狀態(tài)，因而導致部分指標存在“過期”現(xiàn)象，在目前沒有歷史數(shù)據(jù)支持的情況，我們的解決辦法是由業(yè)務部門確定一個過期閥值天數(shù)N，超過N天之前的指標不會再過期，那么每天加載核賠效率事實表時，不僅僅計算當天的事實數(shù)據(jù)，而是把N天之前的數(shù)據(jù)也都復算一遍保險倉庫數(shù)據(jù)模型設計主題維度建模的基本概念模型概述模型介紹模型運用方法與技巧相關技術問題保險倉庫數(shù)據(jù)模型設計數(shù)據(jù)版本的截取時間點查詢出2008-4-10各業(yè)務員的數(shù)據(jù)：

select*from業(yè)務員表wherestart_date<=‘2008-4-10’andend_date>‘2008-4-10’保單中間表連接員工表獲取員工的職位屬性：

selecta.policy,…,b.職位

frommid_policy_facta,業(yè)務員表bandb.start_date<=t_udr_dateandb.end_date>t_udr_date截取時間為常量截取時間為連接主表的相關時間字段保險倉庫數(shù)據(jù)模型設計時間鏈的生成技巧假定經(jīng)過相應的處理后得到一個數(shù)據(jù)集T，T可以是一個臨時表、視圖或子查詢，并包含一個日期字段Start_date(不可有空值)作為時間鏈的開始日期，但End_date還未生成，則可以用以下SQL生成時間鏈：Selectanchor_id,…,start_date,lead(start_date,1,to_date(‘99991231’,’yyyymmdd’)over(partitionbyanchor_idorderbystart_date)asend_dateFromT;其中Anchor_id是數(shù)據(jù)集的錨ID，比如保單號、單據(jù)號等保險倉庫數(shù)據(jù)模型設計歷史表增量加載策略在常規(guī)情況下，該算法也適合全量加載，此時數(shù)據(jù)集是全量數(shù)據(jù)，而目標表的初始狀況是空表。由于目標表中要求第一條版本記錄的Start_date應該為‘1900-1-1‘，這里的算法要考慮T01的增量在目標表中沒有前續(xù)版本記錄的情況保險倉庫數(shù)據(jù)模型設計已賺保費的計算以上有效時間段不能采用保單版本的時間鏈，而要按業(yè)務上的保單生效規(guī)則來確定時間范圍一般情況下，保單的生效開始日期就是保險起期，但對于倒簽單，則按核保日期計算，因此回避了在此之前已匯總的漏算問題最好在承保中間表中事先計算出業(yè)務有效時間范圍，作為業(yè)務時間鏈，不僅避免在匯總指標時多做計算，而且有利于測試時核對數(shù)據(jù)由于涉及到除法，如果時間維的粒度太細，可能導致過多的精度誤差，建議匯總表中該指標字段保留更多的小數(shù)位，比如6~8位安邦以前的算法累加各版本保費變化乘以當期內(nèi)的保險期限時間段在當前保險期限內(nèi)的占比較準確的算法累加各版本當前保費乘以當期內(nèi)的有效時間段在當前保險期限內(nèi)的占比每個線段表示保單各版本用于計算當期有效天數(shù)的基準時間段，而被陰影覆蓋的部分作為時間占比的分子保險倉庫數(shù)據(jù)模型設計承保理賠分析應用——場景假設Ply_prof_idDpt_id統(tǒng)計月份簽單件數(shù)已決件數(shù)未決件數(shù)變化100120012007.2103100120012007.321-1100120022007.3101100220022007.3112100120012007.4011100120022007.4102100220022007.421-1100220032007.4101100220032007.5100100120022007.5010100220022007.501-1100220032007.6011Ply_prof_id保險起期10012007.210022007.3Ply_prof_dm為簡化起見，假定保單維表只有一個維屬性：保險起期（月）DM_FACT承保理賠分析事實表經(jīng)過聚合計算后生成的局部視圖，含有三個指標，除統(tǒng)計月份外的維度組合有四種（不同的顏色區(qū)分）保險倉庫數(shù)據(jù)模型設計承保理賠分析應用——轉(zhuǎn)換成快照型事實經(jīng)過與月維表的分區(qū)外連接，以上查詢填充了遺漏的月份，并利用分析函數(shù)計算出“期末未決”這個時點值?？梢岳么瞬樵兘ubeDM_FACT應該是經(jīng)聚合后粒度已經(jīng)較粗的事實，可以是表、視圖、物化視圖或子查詢可以通過對月維表增加查詢條件來減少最終快照型事實的維度組合，比如保單維表中實際上是包含“核保月份”的，則可以增加一個連接條件為“v1.mon_id>=核保月份”，但這種做法必須要有數(shù)據(jù)質(zhì)量的保證會計年度的報表或分析應用可以在該查詢結果的基礎上直接以mon_id為時間維度進行聚合得到WITHv1AS(SELECTmon_idFROMcal_monWHEREmon_id<=200706)SELECTply_prof_id,dpt_id,mon_id,簽單件數(shù),已決件數(shù)，

sum(未決件數(shù)變化)OVER(PARTITIONBYply_prof_id,dpt_idORDERBYmon_idROWSUNBOUNDEDPRECEDING

)as期末未決件數(shù)FROM(SELECTply_prof_id,dpt_id,v1.mon_id,簽單件數(shù),已決件數(shù)，未決件數(shù)變化

FROMdm_factPARTITIONBY(ply_prof_id,dpt_id)RIGHTOUTERJOINv1ON(v1.mon_id=統(tǒng)計月份))保險倉庫數(shù)據(jù)模型設計承保理賠分析應用——保單年度算法保單年度分析是在兩個時間維度上的快照型事實，兩個時間維度分別是保險起期和截止月份，所有指標都是在截止月份維度上的時點值，計算該快照型事實可參考下面的SQL。該算法同樣可以增加條件減少維度組合，比如通常在保險責任結束N年后，保單年度分析的價值已經(jīng)減退，因此可以在連接條件中增加“v1.mon_id<=pf.保險止期+N”，注意：由于實際模型中保單維表不止保險起期一個屬性，則以下查詢在維度上還存在重復值，直接使用需要再進行聚合。WITHv1AS(SELECTmon_idFROMcal_monWHEREmon_id<=200706)SELECT保險起期,dpt_id,mon_id,sum(簽單件數(shù))OVER(PARTITIONBYply_prof_id,dpt_idORDERBYmon_idROWSUNBOUNDEDPRECEDING

)AS簽單件數(shù)sum(已決件數(shù))OVER(PARTITIONBYply_prof_id,dpt_idORDERBYmon_idROWSUNBOUNDEDPRECEDING

)AS已決件數(shù)

sum(未決件數(shù)變化)OVER(PARTITIONBYply_prof_id,dpt_idORDERBYmon_idROWSUNBOUNDEDPRECEDING

)AS未決件數(shù)FROM(SELECTpf.保險起期,dpt_id,v1.mon_id,簽單件數(shù),已決件數(shù)，未決件數(shù)變化

FROMdm_factINNERJOINply_prof_dmpfON(pf.ply_prof_id=dm_fact.ply_prof_id)PARTITIONBY(ply_prof_id,dpt_id)RIGHTOUTERJOINv1ON(v1.mon_id=統(tǒng)計月份andv1_mon_id>=pf.保險起期))保險倉庫數(shù)據(jù)模型設計承保理賠分