大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析當(dāng)前第1頁\共有50頁\編于星期六\4點2課程收益學(xué)習(xí)數(shù)理統(tǒng)計的理念熟悉常見的處理套路掌握常用軟件的使用解決學(xué)員的具體問題當(dāng)前第2頁\共有50頁\編于星期六\4點3目錄數(shù)理統(tǒng)計常識數(shù)理統(tǒng)計技術(shù)當(dāng)前第3頁\共有50頁\編于星期六\4點4目錄數(shù)理統(tǒng)計常識量化的重要性統(tǒng)計基礎(chǔ)知識數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計技術(shù)當(dāng)前第4頁\共有50頁\編于星期六\4點5案例當(dāng)前第5頁\共有50頁\編于星期六\4點6案例記者 在短時間內(nèi)發(fā)生這么多起跳樓的事件，如果站在理論 角度上，發(fā)生率算不算高？樊富珉 按衛(wèi)生部統(tǒng)計，目前中國自殺率大概是十萬分之十六 左右。而富士康40多萬人，約十萬分之二三左右，大 學(xué)生我們也做過統(tǒng)計，大概十萬分之二到三左右。如 果從全國的自殺率來比的話，應(yīng)該還是低的當(dāng)前第6頁\共有50頁\編于星期六\4點7案例世界銀行發(fā)展委員會25日通過了發(fā)達國家向發(fā)展中國家轉(zhuǎn)移投票權(quán)的改革方案，這一改革從一個側(cè)面反映了世界經(jīng)濟版圖的變化本次改革中，發(fā)達國家向發(fā)展中國家共轉(zhuǎn)移了3.13個百分點的投票權(quán)。中國在世行的投票權(quán)從目前的2.77%提高到4.42%，成為世界銀行第三大股東國，僅次于美國和日本世界銀行規(guī)則：任何重要的決議必須由85%以上的表決權(quán)決定名次國家改革后投票權(quán)改革前投票權(quán)1美國15.85%15.85%2日本6.84%7.62%3中國4.42%2.77%4德國4.00%4.35%5法國3.75%4.17%5英國3.75%4.17%7印度2.91%2.77%8俄羅斯2.77%2.77%8沙特2.77%2.77%10意大利2.64%2.71%當(dāng)前第7頁\共有50頁\編于星期六\4點8案例在一次海難中，統(tǒng)計數(shù)據(jù)為頭等艙乘客319人，200人幸存二等艙乘客269人，117人幸存三等艙乘客699人，172人幸存從以上數(shù)據(jù)你可以發(fā)現(xiàn)什么？當(dāng)前第8頁\共有50頁\編于星期六\4點9目錄數(shù)理統(tǒng)計常識量化的重要性統(tǒng)計基礎(chǔ)知識數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計技術(shù)當(dāng)前第9頁\共有50頁\編于星期六\4點10誤差（波動）偶然誤差可減小但不可消除系統(tǒng)誤差可消除當(dāng)前第10頁\共有50頁\編于星期六\4點11抽樣樣本大小AQL0.0100.0150.0250.0400.0650.10.150.250.400.651.01.52.54.06.510抽樣數(shù)收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退1~820/19~1530/116~2550/11/226~5080/11/22/351~90130/11/22/33/491~150200/11/22/33/45/6151~280320/11/22/33/45/67/8281~500500/11/22/33/45/67/810/11501~1200800/11/22/33/45/67/810/1114/151201~32001250/11/22/33/45/67/810/1114/1521/223201~100002000/11/22/33/45/67/810/1114/1521/2210001~350003150/11/22/33/45/67/810/1114/1521/2235001~1500005000/11/22/33/45/67/810/1114/1521/22150001~5000008000/11/22/33/45/67/810/1114/1521/22≥50000112500/11/22/33/45/67/810/1114/1521/22當(dāng)前第11頁\共有50頁\編于星期六\4點12連續(xù)數(shù)據(jù)和離散數(shù)據(jù)連續(xù)數(shù)據(jù)定量信息含量大離散數(shù)據(jù)定性信息含量小當(dāng)前第12頁\共有50頁\編于星期六\4點13判斷數(shù)據(jù)屬性銷售訂單準(zhǔn)確度數(shù)據(jù)輸入準(zhǔn)確度銷售地區(qū)用通規(guī)測量得到的孔徑用卡尺測量得到的孔徑客戶熱線對話時間空調(diào)制冷劑的重量一批顧客中不滿意的人數(shù)一批顧客中不滿意的比例當(dāng)前第13頁\共有50頁\編于星期六\4點14數(shù)據(jù)的居中程度和離散程度主要的居中指標(biāo)平均值 數(shù)據(jù)集的平均值中位數(shù) 數(shù)據(jù)排序后得到的中間數(shù)眾數(shù) 數(shù)據(jù)集中最頻繁出現(xiàn)的值主要的離散指標(biāo)極差 數(shù)據(jù)集中最大值與最小值的差值方差 與平均值間距的平方和的平均值標(biāo)準(zhǔn)偏差 方差的平方根當(dāng)前第14頁\共有50頁\編于星期六\4點15正態(tài)曲線大多數(shù)（但不是所有）數(shù)據(jù)符合正態(tài)分布當(dāng)前第15頁\共有50頁\編于星期六\4點16目錄數(shù)理統(tǒng)計常識量化的重要性統(tǒng)計基礎(chǔ)知識數(shù)據(jù)挖掘簡介數(shù)理統(tǒng)計技術(shù)當(dāng)前第16頁\共有50頁\編于星期六\4點17數(shù)據(jù)挖掘簡介數(shù)據(jù)挖掘（DataMining）的概念從數(shù)據(jù)庫數(shù)據(jù)中揭示出隱含的、未知的并有潛在價值的信息決策支持，基于人工智能、機器學(xué)習(xí)、模式識別、統(tǒng)計學(xué)、數(shù)據(jù)庫、可視化技術(shù)等，高度自動化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助做出正確的決策當(dāng)前第17頁\共有50頁\編于星期六\4點18數(shù)據(jù)挖掘主要動作分類估值預(yù)測關(guān)聯(lián)聚集可視化描述當(dāng)前第18頁\共有50頁\編于星期六\4點19案例第一次戰(zhàn)役 1950年10月26日 1950年11月02日第二次戰(zhàn)役 1950年11月25日 1950年12月02日第三次戰(zhàn)役 1950年12月31日 1951年01月08日當(dāng)前第19頁\共有50頁\編于星期六\4點20案例豐田大規(guī)模召回事件引起全球強烈反響，引發(fā)豐田信譽危機當(dāng)前第20頁\共有50頁\編于星期六\4點21目錄數(shù)理統(tǒng)計常識數(shù)理統(tǒng)計技術(shù)基礎(chǔ)動作圖表操作典型工具和應(yīng)用當(dāng)前第21頁\共有50頁\編于星期六\4點22基礎(chǔ)動作搜集整理分析評估展示當(dāng)前第22頁\共有50頁\編于星期六\4點23目錄數(shù)理統(tǒng)計常識數(shù)理統(tǒng)計技術(shù)基礎(chǔ)動作圖表操作典型工具和應(yīng)用當(dāng)前第23頁\共有50頁\編于星期六\4點24圖表類型數(shù)字型邏輯型當(dāng)前第24頁\共有50頁\編于星期六\4點25圖表的注意事項選取適當(dāng)?shù)膱D表類型數(shù)量圖表應(yīng)寫清單位引用資料應(yīng)說明出處不要妄圖表達過多的信息圖例一般控制在五個以下盡量簡單明了、利于理解當(dāng)前第25頁\共有50頁\編于星期六\4點26動態(tài)圖表當(dāng)前第26頁\共有50頁\編于星期六\4點27報告制作原則提案型報告說明型報告當(dāng)前第27頁\共有50頁\編于星期六\4點28文檔制作原則邏輯清晰方案多選文字精煉內(nèi)容可視恰當(dāng)修飾體積小巧制作迅速當(dāng)前第28頁\共有50頁\編于星期六\4點29報告的需求管理報告的客戶誰在看報告？希望看什么？希望的頻率？希望的詳略？相關(guān)的技巧買點和賣點金字塔原理當(dāng)前第29頁\共有50頁\編于星期六\4點30報告的素材準(zhǔn)則中肯可比準(zhǔn)確時效可靠清晰當(dāng)前第30頁\共有50頁\編于星期六\4點31素材組織的FAB技巧Feature 特點Advantage 優(yōu)點Benefit 利益BenefitAdvantageFeature客戶關(guān)注點當(dāng)前第31頁\共有50頁\編于星期六\4點32目錄數(shù)理統(tǒng)計常識數(shù)理統(tǒng)計技術(shù)基礎(chǔ)動作圖表操作典型工具和應(yīng)用當(dāng)前第32頁\共有50頁\編于星期六\4點33規(guī)范處理數(shù)據(jù)和數(shù)據(jù)有效性數(shù)據(jù)處理的良好習(xí)慣Excel數(shù)據(jù)有效性當(dāng)前第33頁\共有50頁\編于星期六\4點34層別法、聚類和表格維度層別法、聚類一維表和二維表當(dāng)前第34頁\共有50頁\編于星期六\4點35數(shù)據(jù)透視表當(dāng)前第35頁\共有50頁\編于星期六\4點36將數(shù)據(jù)按順序等距分組，體現(xiàn)各組內(nèi)頻數(shù)的柱狀圖輪廓符合正態(tài)分布曲線說明處于穩(wěn)定狀態(tài)通過異常輪廓形狀分析可定位異常的原因直方圖當(dāng)前第36頁\共有50頁\編于星期六\4點37案例174185189196208190178184190205184185194191205205207207207206210209217214214206209210當(dāng)前第37頁\共有50頁\編于星期六\4點38表現(xiàn)各項目頻度降序排列及累積比例二八原則大問題優(yōu)先柏拉圖當(dāng)前第38頁\共有50頁\編于星期六\4點39ABC分析法A類0~70%，主要影響因素B類70~90%，次要影響因素C類90~100%，一般影響因素ABC的劃分不是絕對的當(dāng)前第39頁\共有50頁\編于星期六\4點40練習(xí)張女士結(jié)婚五年以來與丈夫發(fā)生糾紛如下不做家務(wù) 28次深夜不歸 5次不良嗜好 5次沒送禮物 1次胡亂花錢 3次婆媳關(guān)系 50次異性交往 8次請制作柏拉圖并用ABC法分析當(dāng)前第40頁\共有50頁\編于星期六\4點41散布圖、關(guān)聯(lián)規(guī)則和預(yù)測研究兩個特性之的內(nèi)在關(guān)系坐標(biāo)軸分別表示結(jié)果特性和原因特性使得解決問題時找出強相關(guān)的原因當(dāng)前第41頁\共有50頁\編于星期六\4點42常見類型散布圖正相關(guān)強X的增加導(dǎo)致Y的明顯增加正相關(guān)弱X的增加導(dǎo)致Y的略微增加因變量自變量強正相關(guān)弱正相關(guān)因變量自變量當(dāng)前第42頁\共有50頁\編于星期六\4點43常見類型負相關(guān)強X的增加導(dǎo)致Y的明顯減少負相關(guān)弱X的增加導(dǎo)致Y的略微減少散布圖因變量自變量強負相關(guān)自變量弱負相關(guān)因變量當(dāng)前第43頁\共有50頁\編于星期六\4點44常見類型散布圖無相關(guān)Y的變化與X的變化毫無關(guān)系曲線關(guān)系X與Y之間無線性關(guān)系但符合某種曲線變化規(guī)律曲線相關(guān)因變量自變量不相關(guān)自變量因變量當(dāng)前第44頁\共有50頁\編于星期六\4點45預(yù)測Forecast法趨勢線法當(dāng)前第45頁\共有50頁\編于星期六\4點46單變量求解當(dāng)前第46頁\共有50頁\編于星期六\4點47規(guī)劃求解當(dāng)前第47頁\共有50頁\編于星期六\4點48矩陣數(shù)據(jù)分析法矩陣數(shù)據(jù)分析法（MatrixDataAnalysisChart）用于排定優(yōu)先級、做多目標(biāo)決策量化表示各元素的關(guān)系，更準(zhǔn)確地整理和分析結(jié)果當(dāng)前第48頁\共有50頁\編于星期六\4點49案例

易于控制易于使用網(wǎng)絡(luò)性能軟件兼容便于維護總分權(quán)重易于控制041319.002