大數(shù)據(jù)及在互聯(lián)網(wǎng)金融中的運(yùn)用

2015/10/9什么是大數(shù)據(jù)？全球每秒鐘發(fā)送2.9百萬封電子郵件，一分鐘讀一篇的話，足夠一個(gè)人晝夜不息的讀5.5年…每天會(huì)有2.88萬個(gè)小時(shí)的視頻上傳到Y(jié)outube，足夠一個(gè)人晝夜不息的觀看3.3年…每天發(fā)布5千萬條消息，假設(shè)10秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜不息的瀏覽16年…每天淘寶上將產(chǎn)生6.3百萬筆訂單…每個(gè)月網(wǎng)民在微信上要花費(fèi)7千億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EB…Google上每天需要處理24PB的數(shù)據(jù)…什么是大數(shù)據(jù)1Byte=8bit1KB=1024Bytes1MB=1024KB1GB=1024MB1TB=1024GB1PB=1024TB1EB=1024PB1ZB=1024EB1YB=1024ZB1BB=1024YB1NB=1024BB1DB=1024NB什么是大數(shù)據(jù)什么是大數(shù)據(jù)什么是大數(shù)據(jù)定義：

大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過人工，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為人類所能理解的信息在維克托.邁爾-舍恩伯格及肯尼斯.庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》中，大數(shù)據(jù)是指不用隨機(jī)分析抽樣調(diào)查的方法，而采用對(duì)所有數(shù)據(jù)進(jìn)行分析的方法。1.Volume數(shù)據(jù)量2.

Variety多變性3.value價(jià)值性4.Velocity時(shí)效性結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻…..，對(duì)能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。數(shù)據(jù)的價(jià)值“提純”是目前亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命什么是BigData數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)的特性大數(shù)據(jù)的特性

更關(guān)注價(jià)值性

主要用于預(yù)測(cè)

數(shù)據(jù)量巨大

實(shí)時(shí)性要求高移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍facebook社交網(wǎng)絡(luò)微博淘寶、ebay電子商務(wù)…手機(jī)、Apps移動(dòng)互聯(lián)…大數(shù)據(jù)是如何產(chǎn)生的？大數(shù)據(jù)資源百度、阿里、騰訊為代表的互聯(lián)網(wǎng)公司。百度作為全球最大的中文搜索引擎，存儲(chǔ)數(shù)據(jù)重量近一千個(gè)PB,今年完成的云計(jì)算中心將能存貯超4000個(gè)PB數(shù)據(jù)量。阿里約有30萬臺(tái)服務(wù)器存儲(chǔ)近百PB，騰訊擁有的數(shù)據(jù)覆蓋多個(gè)領(lǐng)域，數(shù)據(jù)存儲(chǔ)量經(jīng)壓縮處理后在100PB左右，且月增數(shù)據(jù)在10%左右。其他領(lǐng)域如殺毒軟件，電子地圖，影視娛樂類互聯(lián)網(wǎng)公司等。電信、金融、保險(xiǎn)系統(tǒng)。大數(shù)據(jù)技術(shù)=海量數(shù)據(jù)+分析建模+挖掘過程大數(shù)據(jù)技術(shù)是什么？數(shù)據(jù)技術(shù)思維

大數(shù)據(jù)技術(shù)數(shù)據(jù)技術(shù)思維

大數(shù)據(jù)技術(shù)

CRISP-DM(跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程)是一種業(yè)界認(rèn)可的用于指導(dǎo)大數(shù)據(jù)分析挖掘工作的方法。

CRISP-DM認(rèn)為在大數(shù)據(jù)分析中存在一個(gè)大數(shù)據(jù)分析挖掘生命周期模型。在這個(gè)生命周期模型中存在著商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建立模型、模型評(píng)估和結(jié)果部署這六個(gè)階段。

大數(shù)據(jù)精準(zhǔn)營(yíng)銷此前，淘寶為解決買賣雙方退貨時(shí)的運(yùn)費(fèi)糾紛，引入某保險(xiǎn)公司提供退貨運(yùn)費(fèi)險(xiǎn)，經(jīng)統(tǒng)計(jì)，淘寶用戶運(yùn)費(fèi)險(xiǎn)索賠率在50%以上。也就是說，10個(gè)淘寶用戶購(gòu)買運(yùn)費(fèi)險(xiǎn)，5個(gè)以上將會(huì)退換貨，該保險(xiǎn)公司需要賠付，該產(chǎn)品對(duì)這家保險(xiǎn)公司帶來的利潤(rùn)只有5%左右，僅從保險(xiǎn)公司的角度，這個(gè)產(chǎn)品并不是很成功。但是該公司仍然堅(jiān)持在做，并且又有新的保險(xiǎn)公司“加盟”。其秘密在于，客戶購(gòu)買運(yùn)費(fèi)險(xiǎn)后保險(xiǎn)公司就可以獲得該客戶的個(gè)人基本信息，包括手機(jī)號(hào)和銀行賬戶信息等，并能夠了解該客戶購(gòu)買的產(chǎn)品信息，從而實(shí)現(xiàn)精準(zhǔn)推送。假設(shè)該客戶購(gòu)買并退貨的是嬰兒奶粉尿不濕，那么保險(xiǎn)公司就可以估計(jì)該客戶家里有小孩，可以向其推薦關(guān)于兒童疾病險(xiǎn)、教育險(xiǎn)等相關(guān)產(chǎn)品，這比5%的利潤(rùn)更有吸引力。利用數(shù)據(jù)來分析客戶的購(gòu)買傾向，從而實(shí)現(xiàn)精準(zhǔn)營(yíng)銷，其實(shí)國(guó)外的電子商務(wù)網(wǎng)站早已運(yùn)用自如，比如亞馬遜的推薦系統(tǒng)可以根據(jù)客戶瀏覽信息，找到產(chǎn)品的相關(guān)性，并快速做出推薦。大數(shù)據(jù)應(yīng)用實(shí)例——精準(zhǔn)營(yíng)銷大數(shù)據(jù)應(yīng)用實(shí)例——精準(zhǔn)營(yíng)銷

大數(shù)據(jù)應(yīng)用實(shí)例——精準(zhǔn)營(yíng)銷

（一）大數(shù)據(jù)信用體系建設(shè)大數(shù)據(jù)技術(shù)的發(fā)展引發(fā)對(duì)互聯(lián)網(wǎng)金融的個(gè)人和企業(yè)身份認(rèn)證和信用評(píng)估的變革，除了對(duì)評(píng)估對(duì)象靜態(tài)信息的分析外，更重要的是變化中的動(dòng)態(tài)信息的分析挖掘，建立用戶的信用評(píng)分和增信模型。比如對(duì)企業(yè)，在供應(yīng)鏈的各個(gè)環(huán)節(jié)、如訂單、庫(kù)存、下線、結(jié)算、付款等關(guān)鍵環(huán)節(jié)產(chǎn)生的數(shù)據(jù)進(jìn)行清理建庫(kù)、分析挖掘，進(jìn)而建立企業(yè)的信用等級(jí)模型和算法，并根據(jù)其信用等級(jí)、成長(zhǎng)性、未來發(fā)展預(yù)測(cè)等給予不同的信用額度。對(duì)于個(gè)人用戶，除了他們注冊(cè)登記的實(shí)名制靜態(tài)信息外，他們?cè)诰W(wǎng)絡(luò)上的購(gòu)物、支付、投資、生活、公益等數(shù)據(jù)形成上百種場(chǎng)景的信息流，將這些靜態(tài)和動(dòng)態(tài)數(shù)據(jù)結(jié)合起來，就能形成用戶的行為軌跡，通過交叉檢驗(yàn)，對(duì)用戶的真實(shí)身份進(jìn)行識(shí)別，進(jìn)而建立信用打分模型和算法，對(duì)客戶進(jìn)行分類，再提供針對(duì)性服務(wù)。互聯(lián)網(wǎng)信用體系建設(shè)對(duì)于信用風(fēng)險(xiǎn)的管理的變革有積極的意義。。大數(shù)據(jù)應(yīng)用——信用風(fēng)險(xiǎn)管理（二）以大數(shù)據(jù)解決信息不對(duì)稱的問題以阿里金融為例，其整合了電子商務(wù)過程中所形成的各種數(shù)據(jù)來進(jìn)行信用分析，包括商戶的歷史交易數(shù)據(jù)、信用記錄、客戶評(píng)價(jià)等內(nèi)部數(shù)據(jù)，以及納稅記錄、海關(guān)記錄等外部數(shù)據(jù)。這些數(shù)據(jù)比現(xiàn)實(shí)中發(fā)布的小微企業(yè)財(cái)務(wù)數(shù)據(jù)更加真實(shí)。阿里金融將所有這些信息進(jìn)行量化，然后將數(shù)值輸入網(wǎng)絡(luò)行為評(píng)分模型，從而對(duì)小微客戶進(jìn)行評(píng)級(jí)分層，同時(shí)還引入在線視頻資信調(diào)查模式，以及通過交叉檢驗(yàn)技術(shù)輔以第三方驗(yàn)證確認(rèn)客戶信息的真實(shí)性，最終將客戶在電子商務(wù)網(wǎng)絡(luò)平臺(tái)上的行為數(shù)據(jù)映射為企業(yè)和個(gè)人的信用評(píng)價(jià)，決定是否可以對(duì)其放貸，以及貸款的金額和利率，解決了傳統(tǒng)金融行業(yè)對(duì)個(gè)人和小企業(yè)貸款存在的信息不對(duì)稱和流程復(fù)雜的問題，并實(shí)現(xiàn)了良好的風(fēng)險(xiǎn)管理。大數(shù)據(jù)應(yīng)用——信用風(fēng)險(xiǎn)管理

阿里小貸放貸模型“水文模型”水文模型就是阿里小貸2013年著重搭建的重要數(shù)據(jù)模型之一，它參考了人們?nèi)粘Ｋ煜さ乃墓芾恚瑢⑻囟〞r(shí)間的水位值與歷史的水文數(shù)據(jù)以及周邊河道的數(shù)據(jù)進(jìn)行比較，就可以對(duì)水位的變化情況作出判斷。將該模型應(yīng)用到小微信貸中，一方面可以完善風(fēng)險(xiǎn)管理，在更詳盡數(shù)據(jù)基礎(chǔ)之上進(jìn)行授信，減少特殊因素對(duì)授信判斷的影響；另一方面可以通過模型進(jìn)行預(yù)判，包括對(duì)小微企業(yè)自身經(jīng)營(yíng)的走向，以及小微企業(yè)資金需求的節(jié)點(diǎn)和量的判斷。阿里小貸有超過上百個(gè)數(shù)據(jù)模型，覆蓋貸前、貸中、貸后管理，反欺詐、市場(chǎng)分析、信用體系、創(chuàng)新研究等板塊。其決策系統(tǒng)每天處理的數(shù)據(jù)量達(dá)10TB。數(shù)據(jù)分析用于向公司的管理決策層提供科學(xué)客觀的分析結(jié)果及建議，并對(duì)業(yè)務(wù)流程提出優(yōu)化改進(jìn)方案。大數(shù)據(jù)應(yīng)用——信用風(fēng)險(xiǎn)管理

2008年美國(guó)，基于大數(shù)據(jù)估計(jì)出來的個(gè)人房屋按揭信用模型并沒有幫助防范席卷全球的金融危機(jī)。這是為什么呢？大數(shù)據(jù)應(yīng)用——大數(shù)據(jù)局限性

1.任何基于歷史數(shù)據(jù)的預(yù)測(cè)模型，都假設(shè)在相同條件下，人們會(huì)做出相同的行為選擇，這通常是正確的。但在模型中沒有被捕獲的變量（即所謂潛在變量），有可能在某時(shí)某地發(fā)生改變，從而改變?nèi)藗兊男袨?。這種影響是很難單獨(dú)被傳統(tǒng)數(shù)據(jù)抓獲。而大數(shù)據(jù)的技術(shù)還也不可能產(chǎn)生一個(gè)系統(tǒng)地展現(xiàn)方式。當(dāng)大數(shù)據(jù)中缺乏類似環(huán)境時(shí)，這種模式的變化就不甚明了。2.預(yù)測(cè)不僅需要模型，也需要輸入，比如假設(shè)：未來的利率如何變化，房?jī)r(jià)增長(zhǎng)率如何？但是在很多時(shí)候，沒有一個(gè)好辦法來事先判斷假設(shè)的合理性。基于歷史的數(shù)據(jù)，以及缺乏市場(chǎng)風(fēng)險(xiǎn)的傳導(dǎo)機(jī)制的理解使得對(duì)假設(shè)的合理性缺乏判斷。

大數(shù)據(jù)應(yīng)用——大數(shù)據(jù)局限性

1.任何基于歷史數(shù)據(jù)的預(yù)測(cè)模型，都假設(shè)在相同條件下，人們會(huì)做出相同的行為選擇，這通常是正確的。但在模型中沒有被捕獲的變量（即所謂潛在變量），有可能在某時(shí)某地發(fā)生改變，從而改變?nèi)藗兊男袨?。這種影響是很