大數(shù)據(jù)BIGDATA大數(shù)據(jù)1大數(shù)據(jù)背景信息自由之戰(zhàn)數(shù)據(jù)爆炸數(shù)據(jù)帝國(guó)數(shù)據(jù)治國(guó)大數(shù)據(jù)背景2信息自由之戰(zhàn)—美國(guó)信息之于民主,就如貨幣之于經(jīng)濟(jì)托馬斯杰斐遜,第三任美國(guó)總統(tǒng)美國(guó)三權(quán)分立總統(tǒng)任命的司法官員須經(jīng)參議院確認(rèn)最高法院可以宣布法律不合憲法信息自由之戰(zhàn)—美國(guó)3三權(quán)組織機(jī)構(gòu)行政司法參議院眾議院副總統(tǒng)聯(lián)邦最高法院總統(tǒng)下屬機(jī)構(gòu)州最高法院行政部門(mén)基層法院第四股力量(Fourthestate)新聞和報(bào)紙新聞自由、言論自由、知情權(quán)1948年,美國(guó)報(bào)紙編輯協(xié)會(huì)成立“世界信息自由委員會(huì)三權(quán)組織機(jī)構(gòu)4約翰·摩斯——《信息自由法》(擔(dān)任美國(guó)國(guó)會(huì)議員25年,六朝元老、連選連任)1955年摩斯著手信息自由的立法工作以來(lái),一系列列的法律層層疊加,不斷完善,美國(guó)的信息自由最終形成了一個(gè)體系,這個(gè)體系也成了世界上許多國(guó)家制定《信息自由法》的模板,截止2006年,已有60多個(gè)國(guó)家實(shí)施了類(lèi)似的法案《信息自由法》〔FreedomofInformationAct簡(jiǎn)稱(chēng)FOIA,也譯作情報(bào)自由法)主要內(nèi)容是規(guī)定民眾在獲得行政情報(bào)方面的權(quán)利和行政機(jī)關(guān)在向民眾提供行政情報(bào)方面的義務(wù)第一、聯(lián)邦政府的記錄和檔案原則上向所有的人開(kāi)放,但是有九類(lèi)政府情報(bào)可免于公開(kāi)第二、公民可向任何一級(jí)政府機(jī)構(gòu)提出查閱、索取復(fù)印件的申請(qǐng)第三、政府機(jī)構(gòu)則必須公布本部門(mén)的建制和本部門(mén)各級(jí)組織受理情報(bào)咨詢(xún)、査找的程序、方法和項(xiàng)目,并提供信息分類(lèi)索引細(xì)這分志律期建子的段式動(dòng)后里關(guān)中謂論,并應(yīng)得到)洗的優(yōu)先處約翰·摩斯——《信息自由法》5奧巴馬政府·政府的態(tài)度:大國(guó)新政—陽(yáng)光是最好的防腐劑,建立一個(gè)透明開(kāi)放的政府·政府的行動(dòng):《透明和開(kāi)放的政府》放松對(duì)總統(tǒng)文件的管制(公眾可查閱)公開(kāi)、發(fā)布信息政府的思想:依靠數(shù)據(jù)說(shuō)話(huà)政府領(lǐng)導(dǎo)人:奧巴馬熱愛(ài)高新科技支持技術(shù)創(chuàng)新OBAMAO8TheFaceofChange奧巴馬政府6信息的自由、公開(kāi)據(jù)急速增長(zhǎng)火1三如何收集理和分析?以機(jī)器學(xué)習(xí),數(shù)據(jù)挖為基礎(chǔ)的高級(jí)數(shù)據(jù)分析技從數(shù)據(jù)到知識(shí),從知識(shí)到行動(dòng)信息的自由、公開(kāi)7數(shù)據(jù)帝國(guó)Wha么是數(shù)據(jù)::where:數(shù)據(jù)是哪來(lái)的?how、應(yīng)對(duì)數(shù)據(jù)爆炸該如何做?什么是點(diǎn)據(jù)?數(shù)據(jù)是對(duì)信息記錄,其本身并無(wú)意義,把數(shù)據(jù)放置定的背景對(duì)數(shù)釋、賦予意義,則為信息。例如1.85″是一個(gè)數(shù)據(jù)奧巴馬身高1.85米”是一條信息數(shù)據(jù)帝國(guó)8數(shù)據(jù)的儲(chǔ)存單位單位英語(yǔ)標(biāo)識(shí)大小例子Bit或個(gè)二進(jìn)制數(shù)位:0或1字節(jié)Byte8Bit個(gè)英文字母:8Bit千字節(jié)KB1024Byte一頁(yè)紙上的文字:5KB兆字節(jié)MB1024KB首普通MP3的歌曲:4MB吉字節(jié)GB1024MB一部電影:1GB太字節(jié)TB美國(guó)國(guó)會(huì)圖書(shū)館所有登記印刷版書(shū)本的消息:15TB1024GB2011年底,其網(wǎng)絡(luò)備份的數(shù)據(jù)量為280太字節(jié)美國(guó)郵政局一年處理的信件大約為5拍拍子節(jié)1024TB谷歌每小時(shí)處理的數(shù)據(jù)為1拍艾字節(jié)1024EB相當(dāng)與13億中國(guó)人人手一本500頁(yè)的書(shū)加起來(lái)澤字節(jié)ZB1024zB截止2010年,人類(lèi)擁有的信息總量大概是12ZB堯字節(jié)1024YB超出想象數(shù)據(jù)的儲(chǔ)存單位92009年美國(guó)各行業(yè)數(shù)據(jù)存儲(chǔ)量(拍字節(jié))建筑業(yè)消費(fèi)娛樂(lè)業(yè)服務(wù)資源行業(yè)用事業(yè)批發(fā)業(yè)教育業(yè)零售業(yè)投資證業(yè)34流程式制造業(yè)傳媒業(yè)高散式制造業(yè)(1998年,聯(lián)邦政府共擁有432所數(shù)據(jù)中心,專(zhuān)門(mén)負(fù)責(zé)各類(lèi)數(shù)據(jù)的存儲(chǔ)和維護(hù)工作。2010年數(shù)據(jù)中心的總數(shù)躍升到2094所,翻了幾倍)2009年美國(guó)各行業(yè)數(shù)據(jù)存儲(chǔ)量(拍字節(jié))10理解大數(shù)據(jù)講解課件11理解大數(shù)據(jù)講解課件12理解大數(shù)據(jù)講解課件13理解大數(shù)據(jù)講解課件14理解大數(shù)據(jù)講解課件15理解大數(shù)據(jù)講解課件16理解大數(shù)據(jù)講解課件17理解大數(shù)據(jù)講解課件18理解大數(shù)據(jù)講解課件19理解大數(shù)據(jù)講解課件20理解大數(shù)據(jù)講解課件21理解大數(shù)據(jù)講解課件22理解大數(shù)據(jù)講解課件23理解大數(shù)據(jù)講解課件24理解大數(shù)據(jù)講解課件25理解大數(shù)據(jù)講解課件26理解大數(shù)據(jù)講解課件27理解大數(shù)據(jù)講解課件28理解大數(shù)據(jù)講解課件29理解大數(shù)據(jù)講解課件30理解大數(shù)據(jù)講解課件31理解大數(shù)據(jù)講解課件32理解大數(shù)據(jù)講解課件33理解大數(shù)據(jù)講解課件34理解大數(shù)據(jù)講解課件35理解大數(shù)據(jù)講解課件36理解大數(shù)據(jù)講解課件37理解大數(shù)據(jù)講解課件38理解大數(shù)據(jù)講解課件39理解大數(shù)據(jù)講解課件40理解大數(shù)據(jù)講解課件41理解大數(shù)據(jù)講解課件42理解大數(shù)據(jù)講解課件43理解大數(shù)據(jù)講解課件44理解大數(shù)據(jù)講解課件45理解大數(shù)據(jù)講解課件46理解大數(shù)據(jù)講解課件47理解大數(shù)據(jù)講解課件48理解大數(shù)據(jù)講解課件49大數(shù)據(jù)BIGDATA大數(shù)據(jù)50大數(shù)據(jù)背景信息自由之戰(zhàn)數(shù)據(jù)爆炸數(shù)據(jù)帝國(guó)數(shù)據(jù)治國(guó)大數(shù)據(jù)背景51信息自由之戰(zhàn)—美國(guó)信息之于民主,就如貨幣之于經(jīng)濟(jì)托馬斯杰斐遜,第三任美國(guó)總統(tǒng)美國(guó)三權(quán)分立總統(tǒng)任命的司法官員須經(jīng)參議院確認(rèn)最高法院可以宣布法律不合憲法信息自由之戰(zhàn)—美國(guó)52三權(quán)組織機(jī)構(gòu)行政司法參議院眾議院副總統(tǒng)聯(lián)邦最高法院總統(tǒng)下屬機(jī)構(gòu)州最高法院行政部門(mén)基層法院第四股力量(Fourthestate)新聞和報(bào)紙新聞自由、言論自由、知情權(quán)1948年,美國(guó)報(bào)紙編輯協(xié)會(huì)成立“世界信息自由委員會(huì)三權(quán)組織機(jī)構(gòu)53約翰·摩斯——《信息自由法》(擔(dān)任美國(guó)國(guó)會(huì)議員25年,六朝元老、連選連任)1955年摩斯著手信息自由的立法工作以來(lái),一系列列的法律層層疊加,不斷完善,美國(guó)的信息自由最終形成了一個(gè)體系,這個(gè)體系也成了世界上許多國(guó)家制定《信息自由法》的模板,截止2006年,已有60多個(gè)國(guó)家實(shí)施了類(lèi)似的法案《信息自由法》〔FreedomofInformationAct簡(jiǎn)稱(chēng)FOIA,也譯作情報(bào)自由法)主要內(nèi)容是規(guī)定民眾在獲得行政情報(bào)方面的權(quán)利和行政機(jī)關(guān)在向民眾提供行政情報(bào)方面的義務(wù)第一、聯(lián)邦政府的記錄和檔案原則上向所有的人開(kāi)放,但是有九類(lèi)政府情報(bào)可免于公開(kāi)第二、公民可向任何一級(jí)政府機(jī)構(gòu)提出查閱、索取復(fù)印件的申請(qǐng)第三、政府機(jī)構(gòu)則必須公布本部門(mén)的建制和本部門(mén)各級(jí)組織受理情報(bào)咨詢(xún)、査找的程序、方法和項(xiàng)目,并提供信息分類(lèi)索引細(xì)這分志律期建子的段式動(dòng)后里關(guān)中謂論,并應(yīng)得到)洗的優(yōu)先處約翰·摩斯——《信息自由法》54奧巴馬政府·政府的態(tài)度:大國(guó)新政—陽(yáng)光是最好的防腐劑,建立一個(gè)透明開(kāi)放的政府·政府的行動(dòng):《透明和開(kāi)放的政府》放松對(duì)總統(tǒng)文件的管制(公眾可查閱)公開(kāi)、發(fā)布信息政府的思想:依靠數(shù)據(jù)說(shuō)話(huà)政府領(lǐng)導(dǎo)人:奧巴馬熱愛(ài)高新科技支持技術(shù)創(chuàng)新OBAMAO8TheFaceofChange奧巴馬政府55信息的自由、公開(kāi)據(jù)急速增長(zhǎng)火1三如何收集理和分析?以機(jī)器學(xué)習(xí),數(shù)據(jù)挖為基礎(chǔ)的高級(jí)數(shù)據(jù)分析技從數(shù)據(jù)到知識(shí),從知識(shí)到行動(dòng)信息的自由、公開(kāi)56數(shù)據(jù)帝國(guó)Wha么是數(shù)據(jù)::where:數(shù)據(jù)是哪來(lái)的?how、應(yīng)對(duì)數(shù)據(jù)爆炸該如何做?什么是點(diǎn)據(jù)?數(shù)據(jù)是對(duì)信息記錄,其本身并無(wú)意義,把數(shù)據(jù)放置定的背景對(duì)數(shù)釋、賦予意義,則為信息。例如1.85″是一個(gè)數(shù)據(jù)奧巴馬身高1.85米”是一條信息數(shù)據(jù)帝國(guó)57數(shù)據(jù)的儲(chǔ)存單位單位英語(yǔ)標(biāo)識(shí)大小例子Bit或個(gè)二進(jìn)制數(shù)位:0或1字節(jié)Byte8Bit個(gè)英文字母:8Bit千字節(jié)KB1024Byte一頁(yè)紙上的文字:5KB兆字節(jié)MB1024KB首普通MP3的歌曲:4MB吉字節(jié)GB1024MB一部電影:1GB太字節(jié)TB美國(guó)國(guó)會(huì)圖書(shū)館所有登記印刷版書(shū)本的消息:15TB1024GB2011年底,其網(wǎng)絡(luò)備份的數(shù)據(jù)量為280太字節(jié)美國(guó)郵政局一年處理的信件大約為5拍拍子節(jié)1024TB谷歌每小時(shí)處理的數(shù)據(jù)為1拍艾字節(jié)1024EB相當(dāng)與13億中國(guó)人人手一本500頁(yè)的書(shū)加起來(lái)澤字節(jié)ZB1024zB截止2010年,人類(lèi)擁有的信息總量大概是12ZB堯字節(jié)1024YB超出想象數(shù)據(jù)的儲(chǔ)存單位582009年美國(guó)各行業(yè)數(shù)據(jù)存儲(chǔ)量(拍字節(jié))建筑業(yè)消費(fèi)娛樂(lè)業(yè)服務(wù)資源行業(yè)用事業(yè)批發(fā)業(yè)教育業(yè)零售業(yè)投資證業(yè)34流程式制造業(yè)傳媒業(yè)高散式制造業(yè)(1998年,聯(lián)邦政府共擁有432所數(shù)據(jù)中心,專(zhuān)門(mén)負(fù)責(zé)各類(lèi)數(shù)據(jù)的存儲(chǔ)和維護(hù)工作。2010年數(shù)據(jù)中心的總數(shù)躍升到2094所,翻了幾倍)2009年美國(guó)各行業(yè)數(shù)據(jù)存儲(chǔ)量(拍字節(jié))59理解大數(shù)據(jù)講解課件60理解大數(shù)據(jù)講解課件61理解大數(shù)據(jù)講解課件62理解大數(shù)據(jù)講解課件63理解大數(shù)據(jù)講解課件64理解大數(shù)據(jù)講解課件65理解大數(shù)據(jù)講解課件66理解大數(shù)據(jù)講解課件67理解大數(shù)據(jù)講解課件68理解大數(shù)據(jù)講解課件69理解大數(shù)據(jù)講解課件70理解大數(shù)據(jù)講解課件71理解大數(shù)據(jù)講解課件72理解大數(shù)據(jù)講解課件73理解大數(shù)據(jù)講解課件74理解大數(shù)據(jù)講解課件75理解大數(shù)據(jù)講解課件76理解大數(shù)據(jù)講解課件77理解大數(shù)據(jù)講解課件78理解大數(shù)據(jù)講解課件79理解大數(shù)據(jù)講解課件80理解大數(shù)據(jù)講解課件81理解大數(shù)據(jù)講解課件82理