1、金融大數(shù)據(jù)方案目錄一、大數(shù)據(jù)金融的技術(shù)步驟二、大數(shù)據(jù)平臺服務(wù) 三、案例介紹技術(shù)技術(shù)和步驟數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)挖掘數(shù)據(jù)分析數(shù)據(jù)可視化使用分布式服務(wù)器，平臺能夠方便快捷的部署API接口豐富：可接入多來源數(shù)據(jù)和多種類型數(shù)據(jù)數(shù)據(jù)清洗：能在復(fù)雜策略環(huán)境下找出有用的信息數(shù)據(jù)挖掘：能自動挖掘出信息的內(nèi)在屬性實(shí)時動態(tài)：能自動捕捉信息的實(shí)時變化技術(shù)特點(diǎn)采集瀏覽器插件PC/Server網(wǎng)頁APP采集渠道廣HTML網(wǎng)頁P(yáng)C/ServerAPP瀏覽器插件核心優(yōu)勢一：渠道廣全網(wǎng)數(shù)據(jù)實(shí)時采集采集自建DNS加速使用KV內(nèi)存數(shù)據(jù)庫借用CDN加速使用多線路多終端增加單位并發(fā)采集快、頻次快核心優(yōu)勢二：速度快采集IP限制驗(yàn)證碼行為

2、檢測互聯(lián)網(wǎng)可以穿透任意的阻止策略核心優(yōu)勢三：穿透強(qiáng)采集基礎(chǔ)資源：企業(yè)全息畫像基本注冊信息市場行業(yè)信息法人信息（公司結(jié)構(gòu)、股權(quán)信息）公司關(guān)聯(lián)方財(cái)務(wù)數(shù)據(jù)（主板創(chuàng)業(yè)板及新三板上市公司）非財(cái)務(wù)數(shù)據(jù)（包括人力資源，招標(biāo)中標(biāo)，訴訟數(shù)據(jù)等）媒體數(shù)據(jù)（傳統(tǒng)及社交媒體）無形資產(chǎn)（專利、版權(quán)、商譽(yù)、品牌價值等）稅務(wù)數(shù)據(jù)（企業(yè)所得稅、增值稅、個人所得稅）社保數(shù)據(jù)（非公開）銀行流水（非公開）工商年檢財(cái)務(wù)數(shù)據(jù)（非公開）互聯(lián)網(wǎng)數(shù)據(jù)（招聘、質(zhì)押、合同、債務(wù)、擔(dān)保數(shù)據(jù)等）第三方數(shù)據(jù)（金蝶、科技部等非公開）清洗數(shù)據(jù)清洗優(yōu)勢數(shù)據(jù)清洗大量的成功案例成功案例Beyebe導(dǎo)購?fù)扑]家家悅定價決策系統(tǒng)諾亞舟產(chǎn)品監(jiān)控系統(tǒng)微車夫違章查詢經(jīng)驗(yàn)豐

3、富的團(tuán)隊(duì)優(yōu)秀團(tuán)隊(duì)七年的大數(shù)據(jù)清洗經(jīng)驗(yàn)涵蓋電商、零售、交通等行業(yè)獲得行業(yè)的認(rèn)可行業(yè)認(rèn)可百度、京東、走秀網(wǎng)等商業(yè)合同IBM、網(wǎng)宿科技戰(zhàn)略合作伙伴分析數(shù)據(jù)分析架構(gòu)NFS網(wǎng)絡(luò)文件系統(tǒng)Spark 通用計(jì)算框架BBase（Beyebe自有、基于Nosql）SparkSqlSparkStreamingMlib MachineLearningGraphX Graph Processing數(shù)據(jù)文件系統(tǒng)層計(jì)算層國產(chǎn)麒麟操作系統(tǒng)邏輯層針對金融大數(shù)據(jù)業(yè)務(wù)在計(jì)算層提供的接口上自主開發(fā)僅適用于金融大數(shù)據(jù)的邏輯應(yīng)用分析BBaseBMaster-Create()-UpDate()Client-Put()-Incr()Clie

4、nt-Put()-Incr()BRegionServerKeyValuesKeyValuesKeyValuesLogFlusherLogRollerBRegionBRegionBRegionSync()rollWriter()StoreMemStoreBFileStoreFileBFileStoreFileStoreMemStoreBFileStoreFileBFileStoreFileStoreMemStoreBFileStoreFileBFileStoreFileBLogNFSNFS分析信息抽取表達(dá)式的方法及系統(tǒng)人員要求低簡單易學(xué)方便易用互聯(lián)網(wǎng)數(shù)據(jù)自定義語義語法數(shù)據(jù)字典表達(dá)式邏輯處理指令解

5、析采集配置關(guān)鍵字鍵值匹配分類抽取定義有效性檢查一致性檢查數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)審核結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)NFS數(shù)據(jù)存儲數(shù)據(jù)清洗數(shù)據(jù)抽取分析混合索引方法及系統(tǒng)內(nèi)碼偏移尋址頻繁修改屬性 價格/評論數(shù)據(jù)數(shù)據(jù)多層索引中英文混合搜索中文內(nèi)碼連續(xù)數(shù)組數(shù)據(jù)解決中文搜索的性能問題解決某些數(shù)據(jù)屬性頻繁更新問題分析數(shù)據(jù)審核數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)關(guān)鍵填充表達(dá)式上下文解析多級分類合并匹配庫（品牌）復(fù)雜策略有效數(shù)據(jù)人工機(jī)器學(xué)習(xí)半自動化策略補(bǔ)充機(jī)器學(xué)習(xí)自動化冗余檢查一致性檢查完整性檢查分析數(shù)據(jù)控制中心控制中心任務(wù)ID定位日志記錄操作指令優(yōu)先級可視化監(jiān)控服務(wù)器監(jiān)控任務(wù)ID監(jiān)控任務(wù)ID服務(wù)器監(jiān)控任務(wù)ID監(jiān)控任務(wù)ID服務(wù)器監(jiān)控任務(wù)ID監(jiān)控任務(wù)

6、ID服務(wù)器監(jiān)控任務(wù)ID監(jiān)控任務(wù)ID分布式服務(wù)器之間相互關(guān)聯(lián)報告報告調(diào)度分析數(shù)據(jù)分析平臺Beyebe大數(shù)據(jù)平臺SNS API負(fù)載均衡存儲API推薦 API權(quán)限管理用戶驗(yàn)證統(tǒng)計(jì)分析應(yīng)用建模反饋平臺用戶API應(yīng)用 API算法 API數(shù)據(jù)挖掘子平臺信息分類模型參數(shù)數(shù)據(jù)聚合關(guān)聯(lián)分析推薦引擎子平臺個性化信息決策精準(zhǔn)匹配智能反饋數(shù)據(jù)分析子平臺核心數(shù)據(jù)社區(qū)結(jié)構(gòu)關(guān)鍵路徑共性群體頁面解析語言分詞數(shù)據(jù)清洗特征抽取數(shù)據(jù)集成網(wǎng)絡(luò)分析基礎(chǔ)架構(gòu)分布式網(wǎng)絡(luò)爬蟲/蜘蛛新聞網(wǎng)頁SNS社交網(wǎng)絡(luò)元數(shù)據(jù)存儲圖片NFS文本BBaseSpark通用技術(shù)框架監(jiān)控報表服務(wù)評測日志分析數(shù)據(jù)緩存服務(wù)數(shù)據(jù)清洗、數(shù)據(jù)挖掘數(shù)據(jù)分析最終產(chǎn)品數(shù)據(jù)交易數(shù)據(jù)服

7、務(wù)數(shù)據(jù)產(chǎn)品數(shù)據(jù)采集、數(shù)據(jù)管道Beyebe致力于為企業(yè)提供數(shù)據(jù)交易、數(shù)據(jù)服務(wù)、數(shù)據(jù)產(chǎn)品Beyebe大數(shù)據(jù)服務(wù)內(nèi)容案例部分案例資質(zhì)行業(yè)對比數(shù)據(jù)維度比一比其他公司數(shù)據(jù)多樣化能采集互聯(lián)網(wǎng)全網(wǎng)數(shù)據(jù)，數(shù)據(jù)維度廣，數(shù)據(jù)多樣化只能采集企業(yè)內(nèi)部交易數(shù)據(jù)，數(shù)據(jù)來源單一數(shù)據(jù)清洗能夠?qū)Ω鞣N數(shù)據(jù)進(jìn)行清洗，并產(chǎn)出一致性，完整性的有效數(shù)據(jù)使用的數(shù)據(jù)都是標(biāo)準(zhǔn)化數(shù)據(jù)，沒有數(shù)據(jù)清洗經(jīng)驗(yàn)數(shù)據(jù)分析數(shù)據(jù)維度更廣泛，分析結(jié)果更具說服力企業(yè)內(nèi)部的單一數(shù)據(jù)的分析結(jié)果粉飾財(cái)報股東、高管自身的風(fēng)險帶來的潛在舞弊風(fēng)險通過對股東、高管的相關(guān)信息進(jìn)行篩查以識別風(fēng)險重大合同缺乏合同訂立與變更信息，信息的完整性，實(shí)務(wù)中難以快速提前實(shí)證，評估不準(zhǔn)的風(fēng)險通過中國招標(biāo)網(wǎng)、國際招標(biāo)網(wǎng)等全國和地方性的網(wǎng)站抓取信息投資項(xiàng)目重大投資項(xiàng)目未披露，未通過審批提前動工，強(qiáng)制停工，造成投資者利益損失的風(fēng)險通過實(shí)時搜索證券社區(qū)相關(guān)信息進(jìn)行投資項(xiàng)目的動向跟蹤重大