數據價值的深度挖掘

K-Miner5.0簡介神舟通用助力企業(yè)科學化管理大綱神舟通用1產品總概221功能與特點3客戶評價4數據庫專業(yè)公司——神舟通用公司介紹神舟通用公司致力于國產數據庫及數據分析產品的研發(fā)及產業(yè)化，多年來得到了國家發(fā)改委、科技部、工業(yè)和信息化部、國防科工局以及中國航天科技集團公司的大力支持，是國內最具有影響力的基礎軟件企業(yè)之一。隸屬于中國航天科技集團，國家核高基企業(yè)人才隊伍8名博士領銜，300余人公司發(fā)展歷程4電信行業(yè)國產數據庫最大規(guī)模商用中國聯通全國集中綜合結算系統(tǒng)全面采用神通數據庫，實現國產數據庫在電信行業(yè)的最大規(guī)模商用。“核高基”測評中綜合排名第一獲得國家“核高基”科技重大專項重點支持，在國家主管部門組織的國產數據庫測評中綜合排名第一。整合資源，成立專業(yè)公司整合南大通用、東軟、浙大等國產數據庫技術和資源，成立神舟通用數據庫專業(yè)公司，產品名稱更改為“神通數據庫”。在航天和電子政務領域開展應用發(fā)布OSCARV5版本，在科技部組織的國產數據庫測評中名列第一，在航天和電子政務領域開展應用。獲得863重點支持神舟軟件公司成立，建立數據庫事業(yè)部，獲得科技部“十五”863計劃重點支持。聯合浙大，開展技術攻關及產品研制中國航天聯合浙江大學，開展工程數據庫管理系統(tǒng)（OSCAR）的技術攻關和產品研制工作。2011年2010年2008年2004年2003年1993年產業(yè)布局、分支機構北京產品化和市場營銷中心天津產品研發(fā)和測試平臺杭州技術攻關和預研中心區(qū)域營銷和本地化技術服務平臺專注國產數據庫事業(yè)20年多年來受到國家各部委重視與支持軍用數據庫管理系統(tǒng)武器裝備嵌入式實時數據庫管理系統(tǒng)神通大型通用數據庫管理系統(tǒng)與套件研發(fā)及產業(yè)化非結構化數據管理系統(tǒng)十一五核高基對象關系數據庫管理系統(tǒng)OSCARV4.0研制及其應用大型通用關系數據庫管理系統(tǒng)研制及應用大型通用關系數據庫管理系統(tǒng)OSCAR研制及其應用大型通用數據庫管理系統(tǒng)OSCARV6.5研發(fā)及應用“十五”863計劃神舟OSCAR安全數據庫產業(yè)化基于Linux平臺的大型通用數據庫管理系統(tǒng)高可信高性能國產安全數據庫產業(yè)化發(fā)改委高技術產業(yè)化面向軍工的高安全等級數據庫管理系統(tǒng)國防基礎科研

21項專利-遠超國內競爭對手序號專利名稱授權/申請?zhí)枲顟B(tài)1數據庫壓縮及解壓縮方法ZL200410088783.X授權2游標處理系統(tǒng)及方法ZL200410086888.1授權3基于關系數據庫的XML數據存儲與訪問方法ZL200510116858.5授權4基于謂詞關鍵度分析的查詢計劃緩存方法及其系統(tǒng)ZL200510116857.0授權5基于SQL負載挖掘的物理數據庫自動設計方法ZL200510116859.X授權6用基于小波的壓縮直方圖實現二維謂詞選擇率估計的方法ZL200710100361.3授權7數據庫表行級數據的自主訪問控制方法ZL200710100355.8授權8去除SQL查詢語句恒條件的方法ZL200710100359.6授權9基于動態(tài)網頁的可擴展的Word報告自動生成方法201010048676.X授權10基于二級映射的集群動態(tài)擴展方法201010289604.4授權11數據庫冗余數據一致性檢驗方法201010609540.1授權12實現異構數據庫數據同步的方法201110001385.X授權13神通數據庫的包機制的實現方法201110033362.7授權14一種對數據庫系統(tǒng)進行數據物理隔離的方法201010290078.3初審15基于元數據驅動的動態(tài)表單方法201010597139.0初審16并行數據庫中算子復用的實現方法201110259524.9受理17利用固態(tài)硬盤作為計算機寫緩存的存儲系統(tǒng)以及相應的管理調度方法201110358353.5受理18一種混合使用固態(tài)硬盤和傳統(tǒng)硬盤的數據庫集群系統(tǒng)及其優(yōu)化方法201110436674.2受理19一種實現斷點續(xù)傳的增量式數據遷移方法201110436695.4受理20一種基于行存數據庫引擎的列存方法201110436691.6受理21一種利用分片及稀疏位圖的易壓縮數據庫縮影存儲系統(tǒng)及其相應的構建、調度和查詢處理方法201110436693.5受理神通全系產品8神通數據庫（標準版|

企業(yè)版|

安全版）BI套件行業(yè)定制版本核心平臺KSTORE|

嵌入式數據庫|

軍用數據庫神通xCluster集群件K-Miner（數據挖掘）

K-Cuber（OLAP）K-Front（智能報表）K-Fusion（ETL）集群套件非結構化分析套件

T-Bees(網絡信息采集)T-Miner(文本挖掘)T-Search(全文檢索)SBM9K-Miner概況大綱神舟通用1產品總概221功能與特點3客戶評價4主流產品瓶頸11K-Miner與數據挖掘流程-方法論視角12問題定義數據處理部署與監(jiān)控評估與改進模型建立DW數據理解啟動13業(yè)務理解數據理解數據準備模型建立結果評估部署與監(jiān)控

確定業(yè)務目標業(yè)務背景業(yè)務目標

項目成功標準評估形勢企業(yè)資源清單需求、假設和約束風險與代價術語成本和收益確定數據挖掘目標數據挖掘目標數據挖掘成功標準制定項目計劃項目計劃工具和技術的初始評估搜集初始數據原始數據搜集報告數據描述數據描述報告數據探測數據探測報告數據質量檢測

數據質量報告選擇數據數據選擇的原則數據清洗數據清洗報告構造衍生數據衍生變量新生記錄數據整合

整合建模寬表數據格式化格式化數據選擇建模技術

建模技術模型假設確定測試機制

確定測試機制建立模型參數設置模型模型描述評定模型模型評估建模參數調優(yōu)評估結果根據項目成功標準評估模型結果核準模型回顧建模流程

回顧流程確定下一步方案

羅列可能的行動計劃決定制定部署運用方案

部署方案制定監(jiān)控和維護方案監(jiān)控和維護方案

撰寫項目報告

項目報告最終展示回顧項目

經驗總結產品目標14數據挖掘工具分析系統(tǒng)決策支持系統(tǒng)K-Miner充分利用B/S架構的優(yōu)勢，最大限度地為用戶提供最為便捷的服務面向企業(yè)級數據挖掘功能，為用戶提供最為深入、準確、高效的洞察力將產品的易用性和分析結果的可視性作為設計宗旨，為決策人員提供最直觀，最有效的決策支持“陽春白雪的高品質+下里巴人的受眾群”是K-Miner永恒的追求K-Miner與數據挖掘流程--技術視角基礎數據模型層業(yè)務邏輯層數據源數據倉庫數據庫模型建立模型存儲數據集市數據倉庫數據挖掘引擎模型展現模型應用應用程序模型庫企業(yè)門戶決策支持業(yè)務流程資源共享16K-Miner的設計理念專有模型庫、數據倉庫理念改進的CRISP-DM標準化流程25種數據挖掘方法、13種統(tǒng)計方法分布式并行計算、算法優(yōu)化B/S架構、完備標準的權限機制、快速部署機制模型時效性預警與監(jiān)控一次封裝永久使用向導式建模、優(yōu)化的建模參數基于Webservice的對外服務獨特直觀的模型可視化大綱神舟通用1產品總概221功能與特點3客戶評價4K-Miner一瞥功能概覽19系統(tǒng)管理數據預處理模型預警模型發(fā)布和應用模型評估數據和模型可視化挖掘任務監(jiān)控挖掘任務調度海量數據挖掘數據挖掘建模算法集神通K-Miner①②③④⑤⑥⑦⑧⑨⑩（1）數據預處理20（2）數據挖掘建模算法集21建模算法集數據挖掘算法統(tǒng)計算法特征選擇分類預測回歸分析聚類分析關聯分析時間序列屬性篩選屬性重要性打分基于增益率屬性篩選基于卡方檢驗屬性篩選主成分分析決策樹神經網絡分類邏輯回歸分類回歸樹支持向量機分類分類組合模型核素貝葉斯貝葉斯網絡線性回歸神經網絡回歸支持向量機回歸回歸組合模型K均值聚類層次K均值聚類分布估計聚類購物籃分析屬性關聯分析序列模式分析自回歸自回歸移動平均相關分析單因子方差分析分布估計雙因子方差分析因子分析列聯表歸納分析函數擬合K-sigma異常檢測樣本層次聚類廣義線性回歸離散化線箱圖異常檢測屬性層次聚類（2）數據挖掘建模算法集--高準確率2222分類算法準確率對比，準確率越高越好?；貧w算法準確率對比，相關系數越高越好。算法準確度和SPSSModeler相當，有的K-Miner略好，有的Modeler略好23（2）數據挖掘建模算法集--高性能大部分算法執(zhí)行速度遠快于國外相同算法（3）海量數據挖掘--分布式計算架構24（3）海量數據挖掘—MPP+SMP并行計算架構25全節(jié)點采用MPP架構，實現多任務的并行和部分算法單任務粗粒度并行；單節(jié)點采用SMP架構，實現所有算法的細粒度并行，并確保內存的節(jié)約。K-Miner為唯一一款所有算法實現并行的數據挖掘軟件。（4）海量數據挖掘—單機計算能力26（5）挖掘任務調度27（6）挖掘任務監(jiān)控28（7）可視化--數據可視化29（7）可視化--模型可視化30（8）模型評估31（9）模型管理–發(fā)布和應用32（10）模型監(jiān)控預警33預警規(guī)則預警策略調度策略權限管理功能34WebService模型調用和系統(tǒng)整合3536產品總結①完善、標準的數據挖掘流程②豐富、可靠的數據挖掘算法③簡潔、易用的建模分析過程④海量、高效的數據處理能力⑧便捷的模型部署和系統(tǒng)整合機制⑨系統(tǒng)、智能的模型預警與更新機制⑤強大、易用的數據轉換功能⑥靈活的任務調度和可視化監(jiān)管功能⑦獨特的模型可視化機制更深入地洞察更科學地決策大綱神舟通用1產品總概221功能與特點3客戶評價4業(yè)內同行SAS中國：沒想到K-Miner的設計人員對SAS理解的如此深刻，K-Miner這么簡單易用，并且有這么多的獨創(chuàng)性設計?！緲I(yè)務人員深圳電信：能使用上K-Miner，是我們業(yè)務人員的快樂！……軟件廠商中聯集團技術總監(jiān)：K-Miner是我見到的和我構建商務智能理念最為貼近的數據挖掘軟件——簡單易用，滿足快速封裝，支持SOA。東軟某副總裁：K-Miner有很多獨創(chuàng)的設計思想，是一款極具競爭力的數據挖掘軟件。浪潮軟件事業(yè)部：K-Miner是一款功能很完善，非常簡單易用的數據挖掘軟件。中興增值業(yè)務研究院：K-Miner性能卓越，功能強大，設計創(chuàng)新。……數據挖掘咨詢公司某數據挖掘咨詢公司：K-Miner最讓我稱道的是它的系統(tǒng)框架、設計思路。它是獨特的，非常完善的?！畔⒅行?數據中心國家審計署：K-Miner功能強大、性能卓越，毫不遜色于國外軟件，加上其豐富的項目實施經驗，使其成為我們數據挖掘的不二之選。濟南地稅信息中心：K-Miner是我們見到的最簡單、最具操作性的數據挖掘軟件，也是最容易進行業(yè)務快速封裝的數據挖掘軟件。天津市公安局某處處長：K-Miner是我見到的第一款將數據挖掘落地的數據挖掘產品，能夠快速實現業(yè)務層面的封裝，形成智能、實時、操作型的決策支持?！髽I(yè)信息中心/數據中心南方電網：經過近一個月對SASEM、SPSSModeler的系統(tǒng)測試，我們認為K-Miner功能強大、性能卓越，第三方整合便捷，是最適合我們的產品。中彩在線數據中心：K-Miner是我們見到的操作最簡單的數據挖掘軟件，其中的算法實現體現出了獨特的設計思想，能看得出來將很多實戰(zhàn)經驗融入到系統(tǒng)中了。巨人網絡數據中心經理：K-Miner是和我構建智能決策支持系統(tǒng)思路最貼近的數據挖掘軟件。大連期貨交易所技術總監(jiān)：K-Miner是我見到的最簡單、易用的數據挖掘軟件?！璌-Miner與其他產品的對比40對比項大類對比項神通K-Miner5.0SPSSModeler14算法算法數量中中執(zhí)行速度高中預測精度高高數據承載量高中其他功能數據源主流數據庫、TXT、CSV、Excel等主流數據庫、TXT、CSV、Excel等任務調度支持，且強大×模型管理模型庫CRISP-