大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案大數(shù)據(jù)分析平臺(tái)產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例技術(shù)基礎(chǔ)研究方向研究方向關(guān)鍵任務(wù)制高點(diǎn)大數(shù)據(jù)可視化挖掘1）新型內(nèi)存迭代數(shù)據(jù)挖掘算法2）數(shù)據(jù)挖掘可視化開(kāi)發(fā)平臺(tái)3）房地產(chǎn)、金融、電信等機(jī)器學(xué)習(xí)模型研究1）基于內(nèi)存計(jì)算的機(jī)器學(xué)習(xí)算法2）行業(yè)大數(shù)據(jù)深度機(jī)器學(xué)習(xí)模型3）大數(shù)據(jù)可視化挖掘大數(shù)據(jù)內(nèi)存計(jì)算1）基于內(nèi)存的迭代算法研究2）內(nèi)存大數(shù)據(jù)高速統(tǒng)計(jì)分析技術(shù)1）基于大數(shù)據(jù)內(nèi)存的計(jì)算技術(shù)2）國(guó)內(nèi)產(chǎn)品領(lǐng)先大數(shù)據(jù)語(yǔ)義分析1）大數(shù)據(jù)自然語(yǔ)言識(shí)別2）非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)發(fā)現(xiàn)、集成技術(shù)大數(shù)據(jù)平臺(tái)的可視化集成目前是空白領(lǐng)域大數(shù)據(jù)云計(jì)算技術(shù)1）大數(shù)據(jù)云計(jì)算平臺(tái)技術(shù)2）商業(yè)智能云平臺(tái)技術(shù)1）云BI技術(shù)及大數(shù)據(jù)平臺(tái)的核心技術(shù)研究2）大數(shù)據(jù)云BI在國(guó)內(nèi)應(yīng)用是未來(lái)趨勢(shì)，有望建成國(guó)內(nèi)第一家云BI平臺(tái)-技術(shù)基礎(chǔ)研究方向開(kāi)創(chuàng)了基于人類(lèi)視覺(jué)智能的動(dòng)態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，在國(guó)內(nèi)外雜志、會(huì)議發(fā)表了多篇高水平論文。獲得視頻識(shí)別，知識(shí)學(xué)習(xí)與推理相關(guān)發(fā)明專(zhuān)利2項(xiàng)，申請(qǐng)發(fā)明專(zhuān)利7項(xiàng)。大數(shù)據(jù)環(huán)境下的無(wú)重疊視域跟蹤大數(shù)據(jù)技術(shù)，解決視頻領(lǐng)域的知識(shí)識(shí)別，知識(shí)發(fā)現(xiàn)，知識(shí)集成與跟蹤，推理等關(guān)鍵技術(shù)問(wèn)題。多項(xiàng)國(guó)家自然科學(xué)基金大數(shù)據(jù)技術(shù)來(lái)實(shí)現(xiàn)國(guó)家經(jīng)濟(jì)免疫系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)知識(shí)推理系統(tǒng)疑點(diǎn)數(shù)據(jù)審計(jì)數(shù)據(jù)中心審計(jì)跨12個(gè)行業(yè)，跨地區(qū)數(shù)據(jù)源傳統(tǒng)審計(jì)大數(shù)據(jù)審計(jì)無(wú)法跨地區(qū)、跨行業(yè)審計(jì)跨行業(yè)、跨區(qū)域?qū)徲?jì)事后審計(jì)、周期性審計(jì)連續(xù)審計(jì)復(fù)雜性隱蔽問(wèn)題難以發(fā)現(xiàn)智能化，具有預(yù)測(cè)功能依據(jù)小樣本經(jīng)驗(yàn)地毯式排查大數(shù)據(jù)分析，建立抵御和預(yù)防手段審計(jì)行業(yè)大數(shù)據(jù)知識(shí)推理系統(tǒng)房地產(chǎn)大數(shù)據(jù)利用大數(shù)據(jù)建模技術(shù)，實(shí)現(xiàn)房地產(chǎn)價(jià)格指數(shù)、房地產(chǎn)評(píng)估模型碳交易利用大數(shù)據(jù)建模技術(shù)，建立全省碳排放計(jì)量監(jiān)測(cè)體系的數(shù)據(jù)體系、技術(shù)體系、模型體系和評(píng)估體系，形成滿(mǎn)足碳排放計(jì)量關(guān)系方程和參數(shù)目錄聯(lián)合實(shí)驗(yàn)室大數(shù)據(jù)分析平臺(tái)產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例數(shù)據(jù)挖掘越來(lái)越多的應(yīng)用到了各個(gè)領(lǐng)域中，主要包括與客戶(hù)關(guān)系管理相關(guān)的模型、與風(fēng)險(xiǎn)控制相關(guān)的模型、與生產(chǎn)銷(xiāo)售預(yù)測(cè)相關(guān)的模型等數(shù)據(jù)挖掘應(yīng)用領(lǐng)域產(chǎn)品名產(chǎn)品ETHINK可視化挖掘概要通過(guò)在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實(shí)現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評(píng)估、圖形以及結(jié)果輸出特點(diǎn)通過(guò)視覺(jué)工作方式輕松獲得此界面可以保障操作的靈活性在最短的時(shí)間內(nèi)形成最多樣的模型大數(shù)據(jù)挖掘，速度快關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)挖掘模型算法庫(kù)/語(yǔ)義分析Hbase/Hive/Hdfs

可視化數(shù)據(jù)挖掘平臺(tái)多維自助分析調(diào)度管理SQL接口JDBC/ODBC內(nèi)存計(jì)算服務(wù)Scala/Java/PythonOLAPServer手機(jī)平板電腦批處理實(shí)時(shí)流處理交互式查詢(xún)統(tǒng)計(jì)分析平臺(tái)ETHINK產(chǎn)品架構(gòu)特點(diǎn)一豐富建模方方法特點(diǎn)可拖拽式建建模JDBCWebServicesRestfulapi可擴(kuò)展性強(qiáng)強(qiáng)自定義模型型，擴(kuò)充組組件特點(diǎn)傳統(tǒng)的關(guān)系系型數(shù)據(jù)(mysql、Oracle等)列式數(shù)據(jù)庫(kù)庫(kù)(Hbase)非結(jié)構(gòu)化數(shù)數(shù)據(jù)(Hdfs、文件系統(tǒng)統(tǒng))大數(shù)據(jù)（Hbase、Hive）特點(diǎn)二大數(shù)據(jù)處理理特點(diǎn)開(kāi)放型平臺(tái)臺(tái)BS結(jié)構(gòu)，一站站式建模、、評(píng)估、部部署基于Spark平臺(tái)內(nèi)存計(jì)算運(yùn)算速度快快特點(diǎn)GBPB特點(diǎn)三大數(shù)據(jù)處理理能力特點(diǎn)基于Spark平臺(tái)內(nèi)存計(jì)算執(zhí)行數(shù)據(jù)挖挖掘時(shí)，方方法論非常常重要.因?yàn)闇?zhǔn)確的的方法論能能夠提高作作業(yè)速度,能系統(tǒng)地減減少各種進(jìn)進(jìn)展?fàn)顩r，，所以選擇擇正確的方方法論是很很重要的.CRISP-DM方法論是全全球認(rèn)可的的數(shù)據(jù)挖掘掘的標(biāo)準(zhǔn)執(zhí)執(zhí)行方法論論.功能模塊金融電信行業(yè)1.信用卡用戶(hù)流失預(yù)測(cè)2.基于客戶(hù)分群的精準(zhǔn)智能營(yíng)銷(xiāo)3.基于公司價(jià)值評(píng)價(jià)的證券策略投資電力行業(yè)1.電力負(fù)荷預(yù)測(cè)2.自適應(yīng)防竊漏電實(shí)時(shí)診斷互聯(lián)網(wǎng)行業(yè)1.電子商務(wù)網(wǎng)站用戶(hù)行為分析2.基于用戶(hù)行為分析的定向廣告投放3.企業(yè)信息系統(tǒng)用戶(hù)服務(wù)感知評(píng)估

制造業(yè)行業(yè)1.制造設(shè)備生命周祺管理2.制造業(yè)投入產(chǎn)出預(yù)測(cè)公共服務(wù)業(yè)

1.空氣質(zhì)量預(yù)測(cè)2.卷煙消費(fèi)者購(gòu)買(mǎi)行為分析3.納稅人偷稅漏稅評(píng)估場(chǎng)景應(yīng)用（（實(shí)驗(yàn)室模模擬實(shí)驗(yàn)課課題）目錄聯(lián)合實(shí)驗(yàn)室大數(shù)據(jù)分析平臺(tái)產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例交互式查詢(xún)實(shí)時(shí)在線(xiàn)處理實(shí)時(shí)流處理

批處理基于spark內(nèi)存的計(jì)算算模型，同同時(shí)支持批批處理、交交互式處理理、流處理理。技術(shù)架構(gòu)解解決方案-要解決的問(wèn)問(wèn)題技術(shù)架構(gòu)解解決方案-分布式內(nèi)存存計(jì)算批處理應(yīng)用用（分鐘級(jí)別別~小時(shí)級(jí)別））OLTP/在線(xiàn)事務(wù)處處理應(yīng)用（毫秒~秒級(jí)別）OLAP/在線(xiàn)交互式式分析應(yīng)用用（秒級(jí)別））實(shí)時(shí)流處理理（持續(xù)不斷斷）技術(shù)架構(gòu)解解決方案-交互式查詢(xún)?cè)兺ǔ５臅r(shí)間間跨度在數(shù)數(shù)十秒到數(shù)數(shù)分鐘之間間按數(shù)據(jù)維度度進(jìn)行統(tǒng)計(jì)計(jì)、聚合根據(jù)歷史數(shù)數(shù)據(jù)進(jìn)行擬擬合和預(yù)測(cè)測(cè)計(jì)算數(shù)據(jù)之之間的相關(guān)關(guān)性和模式式等適合提供高高速在線(xiàn)分分析服典型應(yīng)用場(chǎng)場(chǎng)景政府各部門(mén)門(mén)數(shù)據(jù)證券交易銀行保險(xiǎn)企業(yè)ERP/CRM等適用于數(shù)據(jù)據(jù)量在GB到TB的高速數(shù)據(jù)據(jù)分析技術(shù)架構(gòu)解解決方案-實(shí)時(shí)在線(xiàn)處處理通常的時(shí)間間跨度在數(shù)數(shù)百毫秒到到數(shù)秒之間間數(shù)據(jù)來(lái)源多多、高并發(fā)發(fā)、數(shù)據(jù)處處理量達(dá)分析結(jié)果快快速響應(yīng)典型應(yīng)用場(chǎng)場(chǎng)景社交網(wǎng)絡(luò)分分析、關(guān)聯(lián)聯(lián)關(guān)系分析析用戶(hù)分類(lèi)、、用戶(hù)行為為預(yù)測(cè)高并發(fā)查詢(xún)?cè)儼粗麈I毫秒秒級(jí)檢索按多維度秒秒級(jí)檢索按照關(guān)鍵字字秒級(jí)檢索索事件驅(qū)動(dòng)計(jì)計(jì)算模型，，系統(tǒng)處于于持續(xù)不斷斷計(jì)算之中中，事件響響應(yīng)延遲在在毫秒~秒級(jí)。流式計(jì)算系系統(tǒng)處理應(yīng)應(yīng)用的處理理邏輯是由由源源不斷斷的數(shù)據(jù)流流驅(qū)動(dòng)。典型應(yīng)用場(chǎng)場(chǎng)景有金融在線(xiàn)線(xiàn)欺詐預(yù)警警廣告CTR推薦系統(tǒng)技術(shù)架構(gòu)解解決方案-實(shí)時(shí)流處理理技術(shù)架構(gòu)解解決方案-批處理及離離線(xiàn)挖掘時(shí)間跨度在在數(shù)十分鐘鐘到數(shù)小時(shí)時(shí)之間。離線(xiàn)挖掘主主要用于，，多維統(tǒng)計(jì)計(jì)預(yù)測(cè)，準(zhǔn)準(zhǔn)實(shí)時(shí)分析析以及對(duì)客客戶(hù)進(jìn)行聚聚類(lèi)、分類(lèi)類(lèi)等數(shù)據(jù)挖挖掘應(yīng)用。。典型應(yīng)用場(chǎng)場(chǎng)景電子商務(wù)推推薦引擎流失客戶(hù)預(yù)預(yù)測(cè)挽留日志清洗、、ETL用戶(hù)行為分分析目錄聯(lián)合實(shí)驗(yàn)室大數(shù)據(jù)分析平臺(tái)產(chǎn)品技術(shù)架構(gòu)典型行業(yè)應(yīng)用案例項(xiàng)目需求將總行下發(fā)發(fā)的數(shù)據(jù)及及核心業(yè)務(wù)務(wù)數(shù)據(jù)，經(jīng)經(jīng)過(guò)數(shù)據(jù)整整理、加載載到省級(jí)數(shù)數(shù)據(jù)中心，，并進(jìn)行各各項(xiàng)業(yè)務(wù)快快速應(yīng)用開(kāi)開(kāi)發(fā)數(shù)據(jù)源某省公積金金中心，近近五年的操操作、交易易記錄，共共10億條左右。。系統(tǒng)環(huán)境4臺(tái)X86架構(gòu)的PC服務(wù)器，共共128G內(nèi)存單臺(tái)服務(wù)器器，8核CPU,32G內(nèi)存解決方案Hbase導(dǎo)入海量數(shù)數(shù)據(jù)，并支支撐大數(shù)據(jù)據(jù)查詢(xún)可視化設(shè)計(jì)計(jì)、可視化化報(bào)表實(shí)現(xiàn)現(xiàn)了數(shù)據(jù)的的實(shí)時(shí)分析析行業(yè)應(yīng)用案案例-金融行業(yè)應(yīng)用案案例-金融系統(tǒng)由對(duì)公公客戶(hù)綜合合積分子系系統(tǒng)、展業(yè)業(yè)通客戶(hù)綜綜合收益分分析子系統(tǒng)統(tǒng)、授信客客戶(hù)資金結(jié)結(jié)算子系統(tǒng)統(tǒng)、對(duì)公柜柜面交易流流水分析子子系統(tǒng)等組組成行業(yè)應(yīng)用案案例-金融項(xiàng)目需求整合第三方方支付數(shù)據(jù)據(jù)資源，分分析挖掘客客戶(hù)交易、、反饋信息息、交易行行等數(shù)據(jù)，，實(shí)現(xiàn)精準(zhǔn)準(zhǔn)營(yíng)銷(xiāo)，最最大限度地地提升產(chǎn)品品價(jià)值數(shù)據(jù)源某第三方支支付平臺(tái)交交易、反饋饋數(shù)據(jù)，月月交易記錄錄量1億條。系統(tǒng)環(huán)境６臺(tái)X86架構(gòu)的PC服務(wù)器，共共96G內(nèi)存單臺(tái)服務(wù)器器，8核CPU,16G內(nèi)存解決方案Hbase導(dǎo)入海量數(shù)數(shù)據(jù)，并支支撐大數(shù)據(jù)據(jù)查詢(xún)Hive對(duì)歷史交易易數(shù)據(jù)進(jìn)行行分析可視化設(shè)計(jì)計(jì)、可視化化報(bào)表實(shí)現(xiàn)現(xiàn)數(shù)據(jù)的實(shí)實(shí)時(shí)分析基于ETHINK可視化挖掘掘平臺(tái)，完完成精準(zhǔn)營(yíng)營(yíng)銷(xiāo)建模持卡客戶(hù)多多維分析：：持卡客戶(hù)人人口統(tǒng)計(jì)特特征分析持卡客戶(hù)交交易行為模模式分析持卡客戶(hù)應(yīng)應(yīng)用場(chǎng)景分分析特約商戶(hù)多多維分析：：商戶(hù)基本信信息分析/商戶(hù)業(yè)務(wù)收收益分析商戶(hù)價(jià)值貢貢獻(xiàn)度評(píng)估估／商戶(hù)收收單風(fēng)險(xiǎn)分分析持卡客戶(hù)和和特約商戶(hù)戶(hù)雙向分析析特定特征客客戶(hù)特定時(shí)時(shí)間消費(fèi)商商戶(hù)分布分分析特定時(shí)間在在特定商戶(hù)戶(hù)消費(fèi)的客客戶(hù)特征分分析行業(yè)應(yīng)用案案例-金融項(xiàng)目需求煙草工業(yè)企企業(yè)目前積積累了大量量的數(shù)據(jù)信信息，管理理方式由粗粗放式管理理轉(zhuǎn)為精細(xì)細(xì)化管理，，產(chǎn)生了利利用大數(shù)據(jù)據(jù)技術(shù)收集集、管理和和展示分析析結(jié)構(gòu)化和和非結(jié)構(gòu)化化的數(shù)據(jù)和和信息的訴訴求，于是是如何利用用這些數(shù)據(jù)據(jù)創(chuàng)造更大大的價(jià)值、、為領(lǐng)導(dǎo)決決策和企業(yè)業(yè)精益管理理提供有力力支撐成為為重要的課課題。數(shù)據(jù)存儲(chǔ)近1年數(shù)據(jù)，每每秒鐘10000個(gè)數(shù)據(jù)采集集點(diǎn)系統(tǒng)環(huán)境硬件環(huán)境：：數(shù)據(jù)據(jù)庫(kù)服務(wù)器器1臺(tái)+4臺(tái)分布式pcserver單臺(tái)4核，16G內(nèi)存解決方案流處理模塊塊處理設(shè)備備實(shí)時(shí)數(shù)據(jù)據(jù)流事件預(yù)警開(kāi)開(kāi)發(fā)平臺(tái)，，實(shí)現(xiàn)問(wèn)題題預(yù)警基于ETHINK