分析：大數(shù)據(jù)泡沫時代是時候回歸理性了

很多公司招高級數(shù)據(jù)分析如此，阿里巴巴數(shù)據(jù)分析專家盧輝寫的書也有類似的問題。很多人都有光環(huán)效應(yīng)(他們認為由于阿里的數(shù)據(jù)厲害，所以阿里的數(shù)據(jù)分析專家寫的都是對的，其實阿里發(fā)展好，是整個團隊多年努力出來的)。目前開始有些相對聰明的人慢慢從這個泡沫中從模糊中感覺到不妥，而我本身就是讀統(tǒng)計的，由于敢于說真話讓我先后被兩個中國新聞人物器重和教導(dǎo)。經(jīng)驗不是一篇文章就能說清楚，我這里只說說我對阿里巴巴數(shù)據(jù)分析專家盧輝著的書《數(shù)據(jù)挖掘與數(shù)據(jù)化運營實戰(zhàn)》，下文簡稱盧書的一些看法，希望推動社會對數(shù)據(jù)人員的認識更理性。筆者去年年底看了盧書，有些地方跟筆者有共識，但是書上也有很多問題。先舉個例子，大家都知道同樣頭暈，病根可能是不同的，所以學(xué)醫(yī)的學(xué)生全部科目都要學(xué)，實習(xí)要全部科室都走一趟。如果醫(yī)生知識面不夠廣的話，就容易誤診。如果你同意上面例子的話，那么統(tǒng)計方面，知識面不夠廣就會有問題，這結(jié)論大家就能理解了。例如盧書第17頁提到“數(shù)據(jù)挖掘很多時候并不需要特別專業(yè)的統(tǒng)計背景作為必要條件，不過需要強調(diào)的是基本的統(tǒng)計知識和技能是必需的”。什么才算基本？懂法律才算最基本吧？統(tǒng)計法規(guī)定統(tǒng)計的職權(quán)是調(diào)查、報告、監(jiān)督看出，國家強調(diào)的是調(diào)查，不是統(tǒng)計分析。而第2章提到統(tǒng)計分析與數(shù)據(jù)挖掘的差異以及書后面介紹的內(nèi)容，看出盧書作者對統(tǒng)計的認識只停留是統(tǒng)計分析上。這樣有什么問題呢？第6章數(shù)據(jù)挖掘項目完整應(yīng)用案例演示，提到某公司存在用戶流失的情況，大家都很自然想到調(diào)查原因，有些原因可以通過分析日志記錄的用戶行為數(shù)據(jù)就能知道大概的問題，也可能公司并沒有相關(guān)的數(shù)據(jù)，需要做調(diào)查，包含市場調(diào)查或業(yè)務(wù)調(diào)查。不論是否有相關(guān)的用戶行為數(shù)據(jù)，都屬于統(tǒng)計這個大范圍內(nèi)。但是盧書在第6章提到的方法，浪費大量人力物力，卻沒得到大家真正關(guān)心的答案。書中介紹的做法是：“本案例主要集中是3個方面：1、模型投入應(yīng)用后提前鎖定有高流失風(fēng)險的高活躍用戶群體；2、可以將建模過程中發(fā)現(xiàn)的有價值的，最可能影響流失的重要字段和指標選擇性地提供給運營方；3、針對影響流失的核心指標和字段，可以提供給業(yè)務(wù)方，作為參考線索。”也就是花了很多的時間和人力成本卻沒直接回答流失原因，對于沒有相關(guān)的數(shù)據(jù)，不懂調(diào)查也不想做調(diào)查的人就說這不是他們的工作范圍。另外，盧書封面寫“以業(yè)務(wù)為核心，以思路為重點，以挖掘技術(shù)為輔佐”，這點筆者同意，但是書中內(nèi)容多處違背這個道理。例如按照“以業(yè)務(wù)為核心，以思路為重點”的說法，業(yè)務(wù)分析和報告應(yīng)該是具有邏輯性，可讀性。但是盧書中第17頁提到“神經(jīng)網(wǎng)絡(luò)挖掘技術(shù)，它里面的隱蔽層就是一個黑箱，沒有人能在所有的情況下讀懂”“在實踐應(yīng)用中，這種情況常會讓習(xí)慣統(tǒng)計分析公式的分析師或者業(yè)務(wù)人員感到困惑”“只要模型能正確預(yù)測客戶行為”“業(yè)務(wù)部門、運營部門不了解技術(shù)細節(jié)，又有何不可呢？”按照“以業(yè)務(wù)為核心，以思路為重點”的說法，計算不符合業(yè)務(wù)邏輯的情況是應(yīng)該選擇其他方法去實現(xiàn)，但盧書采用了“以挖掘技術(shù)為主，思路為輔”的做法，以只要能正確預(yù)測用戶行為試圖讓大家覺得這樣做可行。試想如果黑箱算法預(yù)測的結(jié)果出了問題，容易查問題和解決嗎？面對著業(yè)務(wù)人員對他們使用的計算不理解時，盧書第59頁提到的做法是“業(yè)務(wù)團隊”“應(yīng)該具備”“能理解數(shù)據(jù)分析師的分析報告”。這再一次為上一個說不清的問題找了個借口。真正以“以業(yè)務(wù)為核心，以思路為重點”的做法，是要求數(shù)據(jù)分析師的報告要讓業(yè)務(wù)團隊的人看得懂。統(tǒng)計法規(guī)定統(tǒng)計的職權(quán)是調(diào)查、報告、監(jiān)督。報告最起碼就是要讓別人看得懂，有可讀性。盧書把這個邏輯顛倒了。強調(diào)使用SAS、SPSS、R等工具進行分析的數(shù)據(jù)分析師、數(shù)據(jù)挖掘，他們做的報告也偏向于盧書提到的情況，甚至干脆不寫報告。數(shù)據(jù)分析、數(shù)據(jù)挖掘是這幾年才新興的職位，他們使用的只是統(tǒng)計知識中很少一部分的內(nèi)容加上互聯(lián)網(wǎng)需要的知識，但是統(tǒng)計的其他知識都沒用嗎？社會對數(shù)據(jù)人員的評價高還是對統(tǒng)計的評價高？統(tǒng)計局做人口調(diào)查應(yīng)該是家喻戶曉的常識，為什么很多數(shù)據(jù)人員不愿意提，甚至希望與調(diào)查劃清界線。面試過很多公司的數(shù)據(jù)分析，他們都說自己很喜歡統(tǒng)計，當深入問的時候，原來他們只喜歡數(shù)據(jù)分析那部分工作，這反映社會現(xiàn)狀和教育問題了。他們只做了統(tǒng)計工作中，報告職能里