1、大數(shù)據(jù)深度挖掘技術(shù)與大數(shù)據(jù)應(yīng)用,目錄,技術(shù)基礎(chǔ)研究方向,實(shí)驗(yàn)室介紹-技術(shù)基礎(chǔ)研究方向,實(shí)驗(yàn)室介紹-研究成果,開(kāi)創(chuàng)了基于人類視覺(jué)智能的動(dòng)態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，在國(guó)內(nèi)外雜志、會(huì)議發(fā)表了多篇高水平論文。 獲得視頻識(shí)別，知識(shí)學(xué)習(xí)與推理相關(guān)發(fā)明專利2項(xiàng)，申請(qǐng)發(fā)明專利7項(xiàng)。,大數(shù)據(jù)環(huán)境下的無(wú)重疊視域跟蹤,大數(shù)據(jù)技術(shù)，解決視頻領(lǐng)域的知識(shí)識(shí)別，知識(shí)發(fā)現(xiàn)，知識(shí)集成與跟蹤，推理等關(guān)鍵技術(shù)問(wèn)題。,多項(xiàng)國(guó)家自然科學(xué)基金,大數(shù)據(jù)技術(shù)來(lái)實(shí)現(xiàn)國(guó)家經(jīng)濟(jì)免疫系統(tǒng),審計(jì)跨12個(gè)行業(yè)，跨地區(qū)數(shù)據(jù)源,審計(jì)行業(yè)大數(shù)據(jù)知識(shí)推理系統(tǒng),房地產(chǎn)大數(shù)據(jù),利用大數(shù)據(jù)建模技術(shù)，實(shí)現(xiàn)房地產(chǎn)價(jià)格指數(shù)、房地產(chǎn)評(píng)估模型,碳交易,利用大數(shù)據(jù)建模技

2、術(shù)，建立全省碳排放計(jì)量監(jiān)測(cè)體系的數(shù)據(jù)體系、技術(shù)體系、模型體系和評(píng)估體系，形成滿足碳排放計(jì)量關(guān)系方程和參數(shù),目錄,數(shù)據(jù)挖掘越來(lái)越多的應(yīng)用到了各個(gè)領(lǐng)域中，主要包括與客戶關(guān)系管理相關(guān)的模型、與風(fēng)險(xiǎn)控制相關(guān)的模型、與生產(chǎn)銷(xiāo)售預(yù)測(cè)相關(guān)的模型等,數(shù)據(jù)挖掘應(yīng)用領(lǐng)域,產(chǎn)品名,產(chǎn)品,ETHINK可視化挖掘,概要,通過(guò)在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實(shí)現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評(píng)估、圖形以及結(jié)果輸出,特點(diǎn),通過(guò)視覺(jué)工作方式輕松獲得此界面可以保障操作的靈活性 在最短的時(shí)間內(nèi)形成最多樣的模型大數(shù)據(jù)挖掘，速度快,關(guān)系型數(shù)據(jù)庫(kù),數(shù)據(jù)挖掘模型算法庫(kù)/語(yǔ)義分析,Hbase/Hive/Hdfs,可視化數(shù)據(jù) 挖掘平臺(tái),多維自助分析,調(diào) 度

3、 管 理,SQL接口 JDBC/ODBC,內(nèi)存計(jì)算服務(wù) Scala /Java/Python,OLAP Server,手機(jī),平板,電腦,批處理,實(shí)時(shí)流處理,交互式查詢,統(tǒng)計(jì)分析平臺(tái),ETHINK產(chǎn)品架構(gòu),特點(diǎn)一,豐富建模方法,特點(diǎn),可拖拽式建模,JDBC Web Services Restful api,可擴(kuò)展性強(qiáng) 自定義模型，擴(kuò)充組件,特點(diǎn),傳統(tǒng)的關(guān)系型數(shù)據(jù)(mysql、Oracle等) 列式數(shù)據(jù)庫(kù)(Hbase) 非結(jié)構(gòu)化數(shù)據(jù)(Hdfs、文件系統(tǒng)) 大數(shù)據(jù)（Hbase、Hive）,特點(diǎn)二,大數(shù)據(jù)處理,特點(diǎn),開(kāi)放型平臺(tái),BS結(jié)構(gòu)，一站式建模、評(píng)估、部署,基于Spark平臺(tái) 內(nèi)存計(jì)算 運(yùn)算速度快

4、,特點(diǎn),GB,PB,特點(diǎn)三,大數(shù)據(jù)處理能力,特點(diǎn),基于Spark平臺(tái) 內(nèi)存計(jì)算,執(zhí)行數(shù)據(jù)挖掘時(shí)，方法論非常重要. 因?yàn)闇?zhǔn)確的方法論能夠提高作業(yè)速度, 能系統(tǒng)地減少各種進(jìn)展?fàn)顩r，所以選擇正確的方法論是很重要的. CRISP-DM 方法論是全球認(rèn)可的數(shù)據(jù)挖掘的標(biāo)準(zhǔn)執(zhí)行方法論.,場(chǎng)景應(yīng)用（實(shí)驗(yàn)室模擬實(shí)驗(yàn)課題）,目錄,基于spark內(nèi)存的計(jì)算模型，同時(shí)支持批處理、交互式處理、流處理。,技術(shù)架構(gòu)解決方案-要解決的問(wèn)題,技術(shù)架構(gòu)解決方案-分布式內(nèi)存計(jì)算,批處理應(yīng)用 （分鐘級(jí)別小時(shí)級(jí)別）,OLTP/在線事務(wù)處理應(yīng)用 （毫秒秒級(jí)別）,OLAP/在線交互式分析應(yīng)用 （秒級(jí)別）,實(shí)時(shí)流處理 （持續(xù)不斷）,技術(shù)架構(gòu)

5、解決方案-交互式查詢,通常的時(shí)間跨度在數(shù)十秒到數(shù)分鐘之間 按數(shù)據(jù)維度進(jìn)行統(tǒng)計(jì)、聚合 根據(jù)歷史數(shù)據(jù)進(jìn)行擬合和預(yù)測(cè) 計(jì)算數(shù)據(jù)之間的相關(guān)性和模式等 適合提供高速在線分析服 典型應(yīng)用場(chǎng)景 政府各部門(mén)數(shù)據(jù) 證券交易 銀行保險(xiǎn) 企業(yè)ERP/CRM等 適用于數(shù)據(jù)量在GB到TB的高速數(shù)據(jù)分析,技術(shù)架構(gòu)解決方案-實(shí)時(shí)在線處理,通常的時(shí)間跨度在數(shù)百毫秒到數(shù)秒之間 數(shù)據(jù)來(lái)源多、高并發(fā)、數(shù)據(jù)處理量達(dá) 分析結(jié)果快速響應(yīng) 典型應(yīng)用場(chǎng)景 社交網(wǎng)絡(luò)分析、關(guān)聯(lián)關(guān)系分析 用戶分類、用戶行為預(yù)測(cè) 高并發(fā)查詢 按主鍵毫秒級(jí)檢索 按多維度秒級(jí)檢索 按照關(guān)鍵字秒級(jí)檢索,事件驅(qū)動(dòng)計(jì)算模型，系統(tǒng)處于持續(xù)不斷計(jì)算之中，事件響應(yīng)延遲在毫秒秒級(jí)。

6、 流式計(jì)算系統(tǒng)處理應(yīng)用的處理邏輯是由源源不斷的數(shù)據(jù)流驅(qū)動(dòng)。 典型應(yīng)用場(chǎng)景 有金融在線欺詐預(yù)警 廣告CTR 推薦系統(tǒng),技術(shù)架構(gòu)解決方案-實(shí)時(shí)流處理,技術(shù)架構(gòu)解決方案-批處理及離線挖掘,時(shí)間跨度在數(shù)十分鐘到數(shù)小時(shí)之間。 離線挖掘主要用于，多維統(tǒng)計(jì)預(yù)測(cè)，準(zhǔn)實(shí)時(shí)分析以及對(duì)客戶進(jìn)行聚類、分類等數(shù)據(jù)挖掘應(yīng)用。 典型應(yīng)用場(chǎng)景 電子商務(wù)推薦引擎 流失客戶預(yù)測(cè)挽留 日志清洗、ETL 用戶行為分析,目錄,項(xiàng)目需求 將總行下發(fā)的數(shù)據(jù)及核心業(yè)務(wù)數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)整理、加載到省級(jí)數(shù)據(jù)中心，并進(jìn)行各項(xiàng)業(yè)務(wù)快速應(yīng)用開(kāi)發(fā) 數(shù)據(jù)源 某省公積金中心，近五年的操作、交易記錄，共10億條左右。 系統(tǒng)環(huán)境 4臺(tái)X86架構(gòu)的PC服務(wù)器，共1

7、28G內(nèi)存 單臺(tái)服務(wù)器，8核CPU,32G內(nèi)存 解決方案 Hbase導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢 可視化設(shè)計(jì)、可視化報(bào)表實(shí)現(xiàn)了數(shù)據(jù)的實(shí)時(shí)分析,行業(yè)應(yīng)用案例-金融,行業(yè)應(yīng)用案例-金融,系統(tǒng)由對(duì)公客戶綜合積分子系統(tǒng)、展業(yè)通客戶綜合收益分析子系統(tǒng)、授信客戶資金結(jié)算子系統(tǒng)、對(duì)公柜面交易流水分析子系統(tǒng)等組成,行業(yè)應(yīng)用案例-金融,項(xiàng)目需求 整合第三方支付數(shù)據(jù)資源，分析挖掘客戶交易、反饋信息、交易行等數(shù)據(jù)，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)，最大限度地提升產(chǎn)品價(jià)值 數(shù)據(jù)源 某第三方支付平臺(tái)交易、反饋數(shù)據(jù)，月交易記錄量1億條。 系統(tǒng)環(huán)境 臺(tái)X86架構(gòu)的PC服務(wù)器，共96G內(nèi)存 單臺(tái)服務(wù)器，8核CPU,16G內(nèi)存 解決方案 Hba

8、se導(dǎo)入海量數(shù)據(jù)，并支撐大數(shù)據(jù)查詢 Hive對(duì)歷史交易數(shù)據(jù)進(jìn)行分析 可視化設(shè)計(jì)、可視化報(bào)表實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)分析 基于ETHINK可視化挖掘平臺(tái)，完成精準(zhǔn)營(yíng)銷(xiāo)建模,持卡客戶多維分析： 持卡客戶人口統(tǒng)計(jì)特征分析 持卡客戶交易行為模式分析 持卡客戶應(yīng)用場(chǎng)景分析 特約商戶多維分析： 商戶基本信息分析/商戶業(yè)務(wù)收益分析 商戶價(jià)值貢獻(xiàn)度評(píng)估商戶收單風(fēng)險(xiǎn)分析 持卡客戶和特約商戶雙向分析 特定特征客戶特定時(shí)間消費(fèi)商戶分布分析 特定時(shí)間在特定商戶消費(fèi)的客戶特征分析,行業(yè)應(yīng)用案例-金融,項(xiàng)目需求 煙草工業(yè)企業(yè)目前積累了大量的數(shù)據(jù)信息，管理方式由粗放式管理轉(zhuǎn)為精細(xì)化管理，產(chǎn)生了利用大數(shù)據(jù)技術(shù)收集、管理和展示分析結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)和信息的訴求，于是如何利用這些數(shù)據(jù)創(chuàng)造更大的價(jià)值、為領(lǐng)導(dǎo)決策和企業(yè)精益管理提供有力支撐成為重要的課題。 數(shù)據(jù)存儲(chǔ) 近1年數(shù)據(jù)，每秒鐘10000個(gè)數(shù)據(jù)采集點(diǎn) 系統(tǒng)環(huán)境 硬件環(huán)境： 數(shù)據(jù)庫(kù)服務(wù)器1臺(tái)+4臺(tái)分布式pc server 單臺(tái)4核，16G內(nèi)存 解決方案 流處理模塊處理設(shè)備實(shí)時(shí)數(shù)據(jù)流 事件預(yù)警開(kāi)發(fā)平臺(tái)，實(shí)現(xiàn)問(wèn)題預(yù)警 基于ETHIN