1、提高BOSS系統(tǒng)報表統(tǒng)計(jì)速度業(yè)務(wù)支撐系統(tǒng)部系統(tǒng)優(yōu)化QC小組2012年6月親愛滴報表啊，求求你再快一點(diǎn)吧。OMG，這個統(tǒng)計(jì)速度，實(shí)在受不了啦！有木有？有木有？額滴個神啊，報表你敢不敢再快一點(diǎn)！21、小組概況 3、現(xiàn)狀調(diào)查4、確定目標(biāo)5、原因分析2、活動計(jì)劃6、要因確認(rèn)9、效果檢查10、鞏固措施 11、回顧及下一步打算7、制定對策8、對策實(shí)施3 小組概況1. 小組概況1.業(yè)務(wù)支撐系統(tǒng)部系統(tǒng)優(yōu)化QC小組成立于2007年3月，現(xiàn)場型小組GearedE/LGeared(87%)PA15-CO90IRIS1 Gearless(93%)姓名文化程度組內(nèi)職務(wù)碩士碩士碩士碩士副組長徐力楊勝利劉娟龔珂職稱職務(wù)部門

2、副總經(jīng)理、高級工程師室經(jīng)理、高級工程師高級工程師、集團(tuán)專家工程師、集團(tuán)專家組長組員組員碩士碩士馬嘉宋睿工程師工程師組員組員由部門管理人員、行業(yè)專家和一線員工組成2009年度國優(yōu)QC小組2010年度省優(yōu)QC小組2011年度省優(yōu)QC小組4活動時間：2011年2月2011年7月 活動計(jì)劃2.活動計(jì)劃2.5 名詞解釋 名詞解釋 報表統(tǒng)計(jì)速度 報表統(tǒng)計(jì)總耗時報表統(tǒng)計(jì)總次數(shù)6 現(xiàn)狀調(diào)查3. 現(xiàn)狀調(diào)查 3.2010年11月至2011年1月BOSS系統(tǒng)報表統(tǒng)計(jì)速度情況平均速度43秒，呈線性上升趨勢，月底月初是高峰7 現(xiàn)狀調(diào)查3. 現(xiàn)狀調(diào)查 3.按照報表類型進(jìn)行分類8按照總耗時對報表類型進(jìn)行排列【8022】報表

3、統(tǒng)計(jì)耗時占總耗時的85.58，該報表總耗時較長，正是癥結(jié)所在。 現(xiàn)狀調(diào)查3. 現(xiàn)狀調(diào)查 3.9 確定目標(biāo)4. 確定目標(biāo) 4.統(tǒng)計(jì)速度從平均43秒下降到25秒目標(biāo)值：10確定目標(biāo)的依據(jù)：【8022】報表是營業(yè)員營業(yè)廳收費(fèi)日報，小組成員對報表的業(yè)務(wù)邏輯和流程有充分的了解。另外，小組成員是行業(yè)專家，有豐富的系統(tǒng)優(yōu)化技能和經(jīng)驗(yàn)，從以往的優(yōu)化經(jīng)驗(yàn)來看，對系統(tǒng)的優(yōu)化率可以達(dá)到50%以上。經(jīng)過現(xiàn)狀調(diào)查，【8022】報表的平均統(tǒng)計(jì)速度為61秒，小組成員認(rèn)為有較大優(yōu)化空間。如果將【8022】報表的統(tǒng)計(jì)速度提高一倍，則BOSS系統(tǒng)報表統(tǒng)計(jì)速度為： 43（185.5850）24.6秒因此，小組成員認(rèn)為目標(biāo)值經(jīng)過努力

4、是可以實(shí)現(xiàn)的。從統(tǒng)計(jì)歷史來看，月中時期曾達(dá)到并超過目標(biāo)值，但考慮到月底月初由于業(yè)務(wù)量大，統(tǒng)計(jì)速度會相對較慢，因此不宜將目標(biāo)值定得過低。 確定目標(biāo)4. 確定目標(biāo) 4.11 原因分析5. 原因分析5.【8022】報表統(tǒng)計(jì)慢原因分析樹圖 【8022】報表統(tǒng)計(jì)慢SQL語句不優(yōu)化執(zhí)行計(jì)劃不優(yōu)化語句邏輯結(jié)構(gòu)不優(yōu)化表統(tǒng)計(jì)信息不準(zhǔn)確未使用索引系統(tǒng)能力不足終端能力不足數(shù)據(jù)庫能力不足存儲IO能力不足主機(jī)能力不足排序能力不足數(shù)據(jù)庫性能差主機(jī)內(nèi)存不足主機(jī)CPU能力不足營業(yè)員操作不當(dāng)統(tǒng)計(jì)時間輸入范圍大重復(fù)點(diǎn)擊造成程序掛死月底月初業(yè)務(wù)量大12 要因確認(rèn)6. 要因確認(rèn)6.共有12條末端因素，剔除“月底月初業(yè)務(wù)量大”因素13

5、 要因確認(rèn)6. 要因確認(rèn)6.14 要因確認(rèn)6. 要因確認(rèn)6.15 要因確認(rèn)6. 要因確認(rèn)6.16 要因確認(rèn)6. 要因確認(rèn)6.17 制定對策7. 制定對策7.小組針對要因，制定對策如下： 序號要因?qū)Σ吣繕?biāo)措施地點(diǎn)負(fù)責(zé)人完成時間1統(tǒng)計(jì)時間范圍大在前臺統(tǒng)計(jì)時間輸入窗口進(jìn)行限制縮小最大統(tǒng)計(jì)時間范圍，滿足最普遍的需求到營業(yè)廳進(jìn)行現(xiàn)場調(diào)查，了解最普遍的統(tǒng)計(jì)需求，取得合理的統(tǒng)計(jì)時間范圍；整理并提交開發(fā)需求；在前臺統(tǒng)計(jì)時間輸入窗口進(jìn)行限制。業(yè)務(wù)支撐中心馬嘉3月31日2語句邏輯結(jié)構(gòu)不優(yōu)化精簡視圖中子查詢的業(yè)務(wù)邏輯統(tǒng)計(jì)速度提高一倍制定語句結(jié)構(gòu)優(yōu)化方案；提交數(shù)據(jù)結(jié)構(gòu)修改需求；語句優(yōu)化上線。業(yè)務(wù)支撐中心劉娟3月31日

6、3表統(tǒng)計(jì)信息不準(zhǔn)確制定數(shù)據(jù)庫分析策略并實(shí)施表統(tǒng)計(jì)信息相對準(zhǔn)確分析數(shù)據(jù)庫業(yè)務(wù)特點(diǎn)，制定表分析策略；分析策略實(shí)施上線。業(yè)務(wù)支撐中心宋睿3月31日4主機(jī)CPU能力不足對報表數(shù)據(jù)庫主機(jī)CPU消耗最高的進(jìn)程進(jìn)行優(yōu)化 減少CPU消耗至70分析主機(jī)消耗CPU的進(jìn)程；進(jìn)行針對性的優(yōu)化，減少CPU消耗。業(yè)務(wù)支撐中心龔珂、劉娟3月31日18 對策實(shí)施8. 對策實(shí)施8.要因一對策：在前臺統(tǒng)計(jì)時間輸入窗口對最大統(tǒng)計(jì)時間范圍進(jìn)行限制3月11日，通過業(yè)務(wù)支撐管理QQ群，對各個地州的業(yè)務(wù)人員進(jìn)行了調(diào)查，了解到【8022】報表，普遍的統(tǒng)計(jì)需求是按日統(tǒng)計(jì)，在月底及月初會進(jìn)行全月統(tǒng)計(jì)，基本上統(tǒng)計(jì)時間范圍不會跨月。3月14日，整理

7、并提交程序修改申請，將前臺統(tǒng)計(jì)輸入窗口最大統(tǒng)計(jì)時間范圍限制為1個月，并且不允許跨月。3月25日，程序修改通過測試。3月31日，做了限制的統(tǒng)計(jì)前臺程序上線。實(shí)施結(jié)果限制了統(tǒng)計(jì)最大時間范圍，避免了營業(yè)員因輸入的統(tǒng)計(jì)時間跨度較大，造成統(tǒng)計(jì)時間較長。19要因二對策：優(yōu)化SQL語句，精簡視圖中子查詢的業(yè)務(wù)邏輯3月11日，分析【8022】報表的SQL語句涉及的視圖，其中的子查詢語句邏輯不夠精簡。經(jīng)過測試，將視圖進(jìn)行修改，加上一個where條件，分組的查詢范圍可大大減少，性能可以有較大提高。 from zg.acc_stat_daily_201103 a, (select stat_id stat_id,

8、sum(decode(book_item_id, 10000023, paid_prepay, 0) as paid_prepay_n2, sum(decode(book_item_id, 80651, paid_prepay, 0) as paid_prepay_n3 from ZG.ACC_STAT_DAILY_BOOK_201103 where book_item_id in (10000023,80651) group by stat_id) b3月13日，提交數(shù)據(jù)結(jié)構(gòu)變更申請。3月22日，在生產(chǎn)數(shù)據(jù)庫修改視圖定義代碼。 實(shí)施結(jié)果【8022】報表平均統(tǒng)計(jì)速度從61秒下降到18秒。3月2

9、3日起【8022】報表統(tǒng)計(jì)速度大幅下降 對策實(shí)施8. 對策實(shí)施8.20要因三對策：制定數(shù)據(jù)庫分析策略并實(shí)施3月10日，制定報表數(shù)據(jù)庫分析策略如下：報表數(shù)據(jù)庫采用“自動分析+月表手工分析”的策略。報表數(shù)據(jù)庫打開了自動分析功能，設(shè)置的自動分析時間窗口為每日22點(diǎn)至6點(diǎn)，選取變化量超過10%的表進(jìn)行關(guān)聯(lián)分析。根據(jù)報表數(shù)據(jù)庫的業(yè)務(wù)特性，在月底及月初要做以下特殊操作，以保證每月1日報表系統(tǒng)的正常運(yùn)行。3月31日，打開數(shù)據(jù)庫自動分析功能。3月31日，按照數(shù)據(jù)庫分析策略進(jìn)行操作，保證數(shù)據(jù)庫對象分析數(shù)據(jù)相對準(zhǔn)確。實(shí)施結(jié)果數(shù)據(jù)庫對象統(tǒng)計(jì)信息數(shù)據(jù)準(zhǔn)確，保證了數(shù)據(jù)庫各個SQL語句執(zhí)行計(jì)劃相對較優(yōu)。 對策實(shí)施8. 對

10、策實(shí)施8.21要因四對策：對報表數(shù)據(jù)庫主機(jī)CPU消耗最高的進(jìn)程進(jìn)行優(yōu)化3月14日，對報表數(shù)據(jù)庫主機(jī)CPU消耗最高的進(jìn)程進(jìn)行了統(tǒng)計(jì)，發(fā)現(xiàn)其全部為ORACLE數(shù)據(jù)庫進(jìn)程，無其他應(yīng)用進(jìn)程。3月15日，提取了數(shù)據(jù)庫使用CPU最多的前三條語句進(jìn)行分析。這三條語句占到整個數(shù)據(jù)庫CPU消耗的42%。select SO_NBR, REPORT_NO, REPORT_TYPE, REPORT_FIELD_VALUE, FIELD_SEQ from STAT.STAT_QUERY_ADDCOND_REC where SO_NBR = :owc0 AND REPORT_NO = :owc1 AND REPORT_T

11、YPE = 2 ORDER BY FIELD_SEQ此語句是用來提取“默認(rèn)上次統(tǒng)計(jì)條件”的。STAT.STAT_QUERY_ADDCOND_REC這個表上沒有索引，經(jīng)分析，在SO_NBR字段創(chuàng)建索引，性能將大大提升。Select SO_NBR, REPORT_NO, OP_ID, REGION_CODE, START_TIME, END_TIME, CREATE_TIME, REMARKS from STAT.STAT_QUERY_COND_REC where OP_ID = :owc0 and REPORT_NO = :owc1 and CREATE_TIME IN (SELECT MAX(

12、CREATE_TIME) FROM STAT.STAT_QUERY_COND_REC WHERE OP_ID = :owc2 and REPORT_NO = :owc3)此語句也是用來提取“默認(rèn)上次統(tǒng)計(jì)條件”的。STAT.STAT_QUERY_COND_REC這個表上沒有索引，經(jīng)分析，在SO_NBR，OP_ID字段創(chuàng)建索引，性能將大大提升。select /*+PARALLEL(a, 8) */ a.op_id, sum(a.recv_cash) from stat.acc_busi_rec_201103 a where a.busi_type in (4735, 4736) and a.pay

13、_date = to_date(200, yyyymmddhh24miss) and a.pay_date = to_date(259, yyyymmddhh24miss) and a.so_org_id in (56080132, 56006915) and 1 = 1 group by a.op_id此語句是【8023】自助終端繳費(fèi)簡表。經(jīng)分析，該語句過度的使用了并行提示，造成了大量CPU資源浪費(fèi)。經(jīng)過測試，如果去掉并行提示，執(zhí)行時間從31秒下降到5秒。3月16日，提交數(shù)據(jù)結(jié)構(gòu)變更申請。3月31日，在生產(chǎn)數(shù)據(jù)庫表建立索引，及修改語句。 對策實(shí)施8. 對策實(shí)施8.22要因四對策：對報表數(shù)據(jù)庫

14、主機(jī)CPU消耗最高的進(jìn)程進(jìn)行優(yōu)化實(shí)施結(jié)果1、整個數(shù)據(jù)庫的CPU使用量大幅下降，100%滿負(fù)荷狀態(tài)消失，日均CPU使用量下降為10，瞬間最大峰值64。2、通過要因三和要因四的對策實(shí)施，【8022】報表也因此速度得到繼續(xù)提升，從18秒下降到6秒。4月1日起主機(jī)CPU使用率大幅下降 對策實(shí)施8. 對策實(shí)施8.4月1日起【8022】報表速度繼續(xù)提升23 效果檢查9. 效果檢查 9.對策實(shí)施后，全月業(yè)務(wù)峰值 4月1日報表統(tǒng)計(jì)速度平均為17秒。達(dá)到并低于目標(biāo)值24 效果檢查9. 效果檢查 9. 由于降低主機(jī)CPU使用率、數(shù)據(jù)庫分析策略等全局優(yōu)化措施實(shí)施后產(chǎn)生了良好的效果，其他報表也不同程度受惠，速度得到提

15、升。四種報表統(tǒng)計(jì)量占總統(tǒng)計(jì)量98.33%25 效果檢查9. 效果檢查 9.在鞏固期，BOSS系統(tǒng)報表平均統(tǒng)計(jì)速度為8秒，月底月初業(yè)務(wù)峰值最慢速度為21秒，均低于目標(biāo)值。優(yōu)化前對策實(shí)施中優(yōu)化后，鞏固期26按照我部門原規(guī)劃，為解決報表系統(tǒng)主機(jī)滿負(fù)荷運(yùn)行的問題，原計(jì)劃在BOSS系統(tǒng)緊急擴(kuò)容工程中對報表系統(tǒng)主機(jī)擴(kuò)容16個CPU，折合人民幣160萬元。小組通過努力，在未增加一分錢硬件投資的情況下，使用優(yōu)化手段，提高了BOSS系統(tǒng)報表統(tǒng)計(jì)的速度，降低了主機(jī)CPU資源消耗，從而為公司節(jié)省主機(jī)CPU硬件擴(kuò)容投資160萬元人民幣。經(jīng)濟(jì)效益 效果檢查9. 效果檢查 9.27社會效益 小組通過提高BOSS系統(tǒng)報表統(tǒng)

16、計(jì)速度，提高了一線營業(yè)人員的勞動生產(chǎn)率，提高了內(nèi)部客戶的滿意度。在5月開展的BOSS系統(tǒng)滿意度調(diào)查中，全省共有3455人次根據(jù)使用感知參與了對報表優(yōu)化效果進(jìn)行的投票，其中83%的使用者認(rèn)為速度提高了，對他們的工作產(chǎn)生正面的幫助。 效果檢查9. 效果檢查 9.28 鞏固措施10. 鞏固措施 10.小組對活動采取的措施進(jìn)行了標(biāo)準(zhǔn)化工作： 將“【8022】報表統(tǒng)計(jì)最大范圍不超過一個月，并且不能跨月”固化到BOSS系統(tǒng)前臺報表統(tǒng)計(jì)程序代碼中。將優(yōu)化后的視圖stat.stat_mod_8002_ss_YYYYMM定義固化到BOSS系統(tǒng)數(shù)據(jù)字典。將“報表數(shù)據(jù)庫分析策略”固化到中國移動貴州公司業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)庫分析策略V 1.3。將“STAT.STAT_QUERY_ADDCOND_REC在SO_NBR字段創(chuàng)建索引”，”STAT.STAT_Q