1、信息源選擇與數(shù)據(jù)挖掘方法,大綱,一、信息獲取渠道 二、數(shù)據(jù)挖掘方法 三、注意事項(xiàng),*,尋本溯源，洞悉萬象,一、信息獲取渠道：學(xué)術(shù)信息獲取,學(xué)術(shù)搜索引擎：Google Scholar、百度學(xué)術(shù) 學(xué)術(shù)數(shù)據(jù)庫：CNKI中國知網(wǎng)，萬方，維普，Web of science，Emerald（愛墨瑞得）管理學(xué)、經(jīng)濟(jì)學(xué)、工程學(xué)數(shù)據(jù)庫，ProQuest學(xué)位論文全文庫，Elsevier Science 全文學(xué)術(shù)期刊 其他的網(wǎng)站,*,尋本溯源，洞悉萬象,一、信息獲取渠道：市場信息獲取,1.國內(nèi)咨詢機(jī)構(gòu)網(wǎng)站數(shù)據(jù)報(bào)告 2.國內(nèi)互聯(lián)網(wǎng)公司數(shù)據(jù)報(bào)告網(wǎng)站 3.國外咨詢機(jī)構(gòu)網(wǎng)站數(shù)據(jù)報(bào)告 4.各大公司不定期發(fā)布的報(bào)告 5.企業(yè)信

2、息報(bào)告 6.政府統(tǒng)計(jì)類網(wǎng)站/數(shù)據(jù)庫 7.法律規(guī)章,*,尋本溯源，洞悉萬象,1.國內(nèi)咨詢機(jī)構(gòu)網(wǎng)站數(shù)據(jù)報(bào)告列表,1、艾瑞研究-艾瑞網(wǎng)（互聯(lián)網(wǎng)行業(yè)報(bào)告）2、199IT互聯(lián)網(wǎng)數(shù)據(jù)中心-所有行業(yè)報(bào)告，內(nèi)容繁多，支持搜索 3、中國互聯(lián)網(wǎng)絡(luò)信息中心-CNNIC數(shù)據(jù)可以當(dāng)做互聯(lián)網(wǎng)人口普查基礎(chǔ)表來看4、 7、北京賽諾市場研究有限責(zé)任公司賽諾數(shù)據(jù)，智能機(jī)出貨量的專業(yè)統(tǒng)計(jì) 8、中國信通院-研究成果-權(quán)威發(fā)布-權(quán)威數(shù)據(jù)國家智能機(jī)出貨量的官方統(tǒng)計(jì) 9、 Research出品-行業(yè)報(bào)告可看 11、 - 專業(yè)App Store數(shù)據(jù)平臺(tái)丨ASO優(yōu)化專家平臺(tái)丨iOS榜單排行榜查詢工具13、電影電視行業(yè)免費(fèi)報(bào)告列表頁-藝恩咨詢（

3、是個(gè)研究娛樂行業(yè)的公司，提供行業(yè)報(bào)告）14、旅游數(shù)據(jù)報(bào)告-旅游圈（旅游行業(yè)報(bào)告）,7/29/2020,尋本溯源，洞悉萬象,2.國內(nèi)互聯(lián)網(wǎng)公司數(shù)據(jù)報(bào)告網(wǎng)站列表,1、講座PPT-騰訊大講堂 2、Tencent 騰訊-業(yè)績報(bào)告 3、騰訊大數(shù)據(jù)-騰訊云數(shù)據(jù)分析出來的行業(yè)報(bào)告 4、百度開放服務(wù)平臺(tái)-百度云數(shù)據(jù)分析出來的行業(yè)報(bào)告 5、百度數(shù)據(jù)研究中心 提供行業(yè)研究報(bào)告、行業(yè)分析報(bào)告-百度數(shù)據(jù)中心報(bào)告 6、首頁-阿里研究院-阿里行業(yè)研究報(bào)告 7、騰訊MXD移動(dòng)互聯(lián)網(wǎng)設(shè)計(jì)中心 8、 -騰訊交互設(shè)計(jì)報(bào)告 9、用戶研究 | TaoBaoUED-淘寶UED用戶研究報(bào)告 10、網(wǎng)易用戶體驗(yàn)設(shè)計(jì)中心-網(wǎng)易UED用戶研究

4、報(bào)告 11、網(wǎng)絡(luò)視頻數(shù)據(jù)報(bào)告-優(yōu)酷指數(shù)行業(yè)報(bào)告 12、PP指數(shù)_PPTV聚力-PPTV指數(shù)行業(yè)報(bào)告 13、手機(jī)行業(yè)報(bào)告_提供安卓、蘋果等智能手機(jī)行業(yè)報(bào)告_91手機(jī)資訊-91行業(yè)報(bào)告 14、360研究報(bào)告_360安全中心-360應(yīng)用商店等產(chǎn)品出品報(bào)告 15、企鵝智酷_騰訊網(wǎng)-騰訊出品行業(yè)報(bào)告,7/29/2020,尋本溯源，洞悉萬象,企鵝智酷_騰訊網(wǎng)-騰訊出品行業(yè)報(bào)告,7/29/2020,尋本溯源，洞悉萬象,舉例：企鵝智酷：抖音&快手用戶研究報(bào)告,2018年3月，對全國范圍的網(wǎng)民進(jìn)行了廣泛調(diào)研，篩選出快手現(xiàn)有用戶1080名，抖音現(xiàn)有用戶1104名，兩者重合現(xiàn)有用戶630名，并結(jié)合QuestMobi

5、le的大數(shù)據(jù)監(jiān)測，最終研究發(fā)布了快手&抖音用戶研究報(bào)告。,7/29/2020,尋本溯源，洞悉萬象,3.國外咨詢機(jī)構(gòu)網(wǎng)站數(shù)據(jù)報(bào)告列表（1）,1、Flurry-國外app行業(yè)報(bào)告 2、App Annie Blog-app指數(shù)報(bào)告 3、 4、BI Intelligence-business insider的報(bào)告 5、Todays Articles on Digital Marketing and Media-emarker的報(bào)告 6、 7、Gartner Press Release Archives-gartner側(cè)重于硬件的出貨量，包括智能機(jī)和PC等 8、IDC - Search Results-

6、IDC的硬件出貨量全球報(bào)告 9、Yozzo Telecom News 10、J.P. Morgan Home-摩根投行報(bào)告 11、德勤中國 | 審計(jì), 企業(yè)管理咨詢, 財(cái)務(wù)咨詢, 風(fēng)險(xiǎn)管理, 稅務(wù)服務(wù)及行業(yè)洞察 12、Precisely Everywhere-comscore的互聯(lián)網(wǎng)行業(yè)報(bào)告 13、Ericsson - A world of communication（Global移動(dòng)行業(yè)報(bào)告）,7/29/2020,尋本溯源，洞悉萬象,3.國外咨詢機(jī)構(gòu)網(wǎng)站數(shù)據(jù)報(bào)告列表（2）,14、GamesI（Global游戲行業(yè)報(bào)告） 15、 16、Canalys | Insight.

7、 Innovation. Impact.（Global智能機(jī)報(bào)告） 17、Mobile, Online & Digital Market Research, Data & Consultancy（通信無線報(bào)告） 18、Home | GfK Global（終端比較專業(yè)的報(bào)告） 19、Kantar Worldpanel（主要統(tǒng)計(jì)Android和ios的市場份額） 20、PwC publications（皮尤的所有用戶，市場研究報(bào)告） 21、Fiksu | Data-fueled mobile marketing（統(tǒng)計(jì)app用戶獲取成本和應(yīng)用商店下載頻次的監(jiān)測） 22、https:/www.wefo

8、/reports（世界經(jīng)濟(jì)論壇的報(bào)告，揭示國內(nèi)外發(fā)展的大趨勢） 23、Insights - Jampp （Jampp是國外的app 的粘性和轉(zhuǎn)化漏洞的網(wǎng)站，在insights里還有行業(yè)的app的retention等benchmark的數(shù)據(jù)，有些類似flurry的行業(yè)數(shù)據(jù)） 24、羅蘭貝格行業(yè)評論 戰(zhàn)略和行業(yè)評論和報(bào)告 25、普華永道: blog 各個(gè)行業(yè)的主要發(fā)現(xiàn)和行業(yè)報(bào)告 26、Website Traffic & Mobile App Analytics （similar web 以色列的網(wǎng)站分析工具，可以分析任何網(wǎng)站，包括用戶，來源，終端，分布等等，數(shù)據(jù)非常棒）,7/29/2

9、020,尋本溯源，洞悉萬象,4.各大公司不定期發(fā)布的報(bào)告,1、高德地圖：2015年度中國主要城市交通分析報(bào)告 2、微信城市服務(wù)發(fā)布微信政務(wù)民生白皮書 3、淘寶：發(fā)布中國消費(fèi)趨勢數(shù)據(jù) 4、互聯(lián)網(wǎng)增長的第一本數(shù)據(jù)分析手冊-Growing IO的公開手冊 5、移動(dòng)游戲運(yùn)營數(shù)據(jù)分析指標(biāo)白皮書,7/29/2020,尋本溯源，洞悉萬象,5.企業(yè)信息報(bào)告,1、新三板在線 - 中國最大的新三板生態(tài)平臺(tái)（各行各業(yè)新三板上市公司財(cái)務(wù)、高管數(shù)據(jù)等） 2、企查查|企業(yè)查詢（查詢企業(yè)的產(chǎn)品，品牌和法人信息） 3、企業(yè)注冊信息查詢（天眼查，同企查查） 4、SEC.gov | Home（美國上市公司年度財(cái)務(wù)報(bào)告） 5、巨潮

10、資訊網(wǎng)（中國上市公司季度年度財(cái)務(wù)報(bào)告） 6、Baidu | Investors（各大上市公司季度財(cái)報(bào)，IR.XX公司.com，比如百度這個(gè)）,7/29/2020,尋本溯源，洞悉萬象,6.投資機(jī)構(gòu)的統(tǒng)計(jì)網(wǎng)站,1、IT桔子 | IT互聯(lián)網(wǎng)公司產(chǎn)品數(shù)據(jù)庫及商業(yè)信息服務(wù)（中國創(chuàng)業(yè)公司投融資數(shù)據(jù)和報(bào)告） 2、天天投-專業(yè)高效的免費(fèi)創(chuàng)業(yè)投融資服務(wù)平臺(tái)?。▌?chuàng)業(yè)公司數(shù)據(jù)庫） 3、投資人列表 | FellowPlus（投資人列表和支持?jǐn)?shù)據(jù)庫查詢） 4、研究院_ChinaVenture投資中國網(wǎng)-（投中的每個(gè)季度的行業(yè)融資報(bào)告，不定期有專項(xiàng)分析報(bào)告） 5、CB Insights - Blog （CBI insig

11、hts的一系列產(chǎn)品，包括公司的估值，獨(dú)角獸公司列表等） 6、The Downround Tracker（公司估值下降的趨勢） 7、The Complete List of Unicorn Companies（獨(dú)角獸公司列表） 8、IPO Center: IPO Market, IPO News, IPO Calendars, IPO Pricings, IPO Voting（IPO相關(guān)新聞和趨勢報(bào)告） 9、PrivCo | Private Company Financial Intelligence（美國金融數(shù)據(jù)公司，主要關(guān)注未上市公司的所有投融資資料，目前涵蓋的公司包括全世界，當(dāng)然也包括中國

12、公司） 10、券商行業(yè)研究報(bào)告 （國內(nèi)券商的行業(yè)報(bào)告，策略報(bào)告，可以篩選行業(yè)，篩選報(bào)告類型） 11、 12、研究院_ChinaVenture投資中國網(wǎng) （IPO 投融資行業(yè)報(bào)告） Tencent Holdings Ltd - Trefis（各個(gè)公司的revenue model的預(yù)測和key driver的趨勢）,7/29/2020,尋本溯源，洞悉萬象,6.政府統(tǒng)計(jì)類網(wǎng)站/數(shù)據(jù)庫,1、各級政府的統(tǒng)計(jì)年鑒、特定領(lǐng)域統(tǒng)計(jì)年鑒，如國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)庫 、文化文物統(tǒng)計(jì)年鑒 2、各級政府的統(tǒng)計(jì)局網(wǎng)站：如，中華人民共和國國家統(tǒng)計(jì)局 3、各級政府?dāng)?shù)據(jù)開放平臺(tái)： 國家數(shù)據(jù) 北京 上海 4、行業(yè)統(tǒng)計(jì)數(shù)據(jù) 國家版權(quán)局

13、中國經(jīng)濟(jì)信息網(wǎng) 全球經(jīng)濟(jì)數(shù)據(jù) 中華人民共和國財(cái)政部 文化產(chǎn)業(yè)數(shù)據(jù)庫,7/29/2020,尋本溯源，洞悉萬象,7.法律規(guī)章,7/29/2020,尋本溯源，洞悉萬象,法律類數(shù)據(jù)庫：北大法寶、湯森路透的萬律數(shù)據(jù)庫等。 舉例：與個(gè)人信息安全相關(guān)： 中國中華人民共和國網(wǎng)絡(luò)安全法； 歐盟一般數(shù)據(jù)保護(hù)條例； 英國數(shù)據(jù)保護(hù)法案； 美國網(wǎng)絡(luò)空間安全信息共享法；隱私法案；,二、數(shù)據(jù)挖掘方法學(xué)習(xí)渠道,7/29/2020,尋本溯源，洞悉萬象,二、數(shù)據(jù)挖掘方法-數(shù)據(jù)爬蟲工具舉例,7/29/2020,尋本溯源，洞悉萬象,二、數(shù)據(jù)挖掘方法數(shù)據(jù)分析舉例,1.詞典資源 知網(wǎng)中文版 （ 情感詞匯本體下載（ 2.自然語言處理工具和

14、平臺(tái)： 哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心（ isnowfy/snownlp GitHub（ 3.漢語分詞 自然語言處理與信息檢索共享平臺(tái) NLPIR.org fxsjy/jieba GitHub（ 4.情感分析 百度AI開放平臺(tái)（ 騰訊文智. 騰訊文智中文語義平臺(tái)（ 波森NLP. BosonNLP（ 衍數(shù)科技. ACNLP Demo（,7/29/2020,尋本溯源，洞悉萬象,報(bào)告和數(shù)據(jù)使用注意事項(xiàng),行業(yè)報(bào)告和各類網(wǎng)站數(shù)據(jù)良莠不齊，需要有一定的經(jīng)驗(yàn)和對行業(yè)的理解來判斷，而且不同行業(yè)報(bào)告的口徑不一致，可能導(dǎo)致結(jié)論對接不上。一般來說，可信度：政府企業(yè)個(gè)人。 所以報(bào)告和數(shù)據(jù)選擇和使用，解讀和判斷上也需要一定的經(jīng)驗(yàn)和專業(yè)技能，引用臆斷的行業(yè)報(bào)告和數(shù)據(jù)的結(jié)論來做出判斷，研究結(jié)論的準(zhǔn)確性與科學(xué)性將受到影響。,7/29/2020,尋本溯源，洞悉萬象,數(shù)據(jù)挖掘方法使用注意事項(xiàng),通常作為與數(shù)據(jù)倉庫和分析相關(guān)的技術(shù)，數(shù)據(jù)挖掘處于它們的中間。然而，有時(shí)還會(huì)出現(xiàn)十分可笑的應(yīng)用，例如發(fā)掘出不存在但看起來振奮人心的模式（特別的因果關(guān)系），這些根本不相關(guān)的、甚至引人誤入歧途的、或是毫無價(jià)值的關(guān)系，在統(tǒng)計(jì)學(xué)文獻(xiàn)里通常被戲稱為“數(shù)據(jù)捕撈”。數(shù)據(jù)挖掘意味著掃描可能存在任何關(guān)系