數(shù)據(jù)分析修煉手冊

目錄

數(shù)據(jù)分析修煉手冊.............................................................1

數(shù)據(jù)分析師如何分類？.....................................................2

數(shù)據(jù)分析師的具體工作職責和工作內容有哪些？..............................3

如何在業(yè)余時間成為數(shù)據(jù)分析師？..........................................4

數(shù)據(jù)分析實戰(zhàn)與運用.......................................................8

如何用Excel做數(shù)據(jù)分析？..................................................9

如何用Tableau做數(shù)據(jù)可視化？............................................15

數(shù)據(jù)分析師如何分類？

入行之后，我才發(fā)現(xiàn)數(shù)據(jù)分析其實可以分為兩種：一種類似產(chǎn)品經(jīng)理、一種偏向數(shù)據(jù)挖掘，類

似產(chǎn)品經(jīng)理向更加注重業(yè)務，對業(yè)務能力要求比較高；數(shù)據(jù)挖掘向更加注重技術，對算法代碼

能力要求比較高。

首先我說說這兩種方向共同需要的技術面，當然以下只是按照數(shù)據(jù)分析入門的標準來寫:

1.SQL（數(shù)據(jù)庫），我們都知道數(shù)據(jù)分析師每天都會處理海量的數(shù)據(jù)，這些數(shù)據(jù)來源于數(shù)據(jù)

庫，那么怎么從數(shù)據(jù)庫取數(shù)據(jù)？如何建立兩表、三表之間的關系？怎么取到自己想要的特定的

數(shù)據(jù)？等等這些數(shù)據(jù)選擇問題就是你首要考慮的問題，而這些問題都是通過SQJL解決的，所以

S4是數(shù)據(jù)分析的最基礎的技能，零基礎學習SQ可以閱讀這里：SQL教程w3cschool

2.統(tǒng)計學基礎，數(shù)據(jù)分析的前提要對數(shù)據(jù)有感知，數(shù)據(jù)如何收集？數(shù)據(jù)整體分布是怎樣的？如

果有時間維度的話隨著時間的變化是怎樣的？數(shù)據(jù)的平均值是引么？數(shù)據(jù)的最大值最小值指彳I

么？數(shù)據(jù)相關與回歸、時間序列分析和預測等等，這些在網(wǎng)易公開課上倒是有不錯的教程：臉

里斯堡社區(qū)大學公開課：統(tǒng)計學入門—全24集—網(wǎng)易公開課

3.Python或者R的基礎，這一點是必備項也是加分項，在數(shù)據(jù)挖掘方向是必備項，語言相比較

工具更加靈活也更加實用。至于學習資料：R語言我不太清楚，Python方向可以在廖雪峰廖老

師的博客里看Python教程，面向零基礎。

再說說兩者有區(qū)別的技能樹：

1.數(shù)據(jù)挖掘向

我先打個前哨，想要在一兩個月內快速成為數(shù)據(jù)挖掘向的數(shù)據(jù)分析師基本不可能，做數(shù)據(jù)挖掘

必須要底子深基礎牢，編相語言基礎、算法、數(shù)據(jù)結構、統(tǒng)計學知識樣樣不能少，而這些不是

你自習一兩個月就能完全掌握的。

所以想做數(shù)據(jù)挖掘方向的，一定要花時間把軟件工程專業(yè)學習的計算機基礎課程看完，這些課

程包括：數(shù)據(jù)結構、算法，可以在這里一探究竟：如何學習數(shù)據(jù)結構？

在此之后你可以動手用Python去嘗試實現(xiàn)數(shù)據(jù)挖掘的十八大算法：數(shù)據(jù)挖掘18大算法實現(xiàn)以

及其他相關經(jīng)典DM算法

2.產(chǎn)品經(jīng)理向

產(chǎn)品經(jīng)理向需要你對業(yè)務感知能力強，對數(shù)據(jù)I?分敏感，掌握常用的一些業(yè)務分析模型套路，

企業(yè)經(jīng)常招聘的崗位是：商業(yè)分析、數(shù)據(jù)運營、用戶研究、策略分析等等。這方面的學習書籍

就很多，看得越多掌握的方法越多，我說幾本我看過的或者很多人推薦的書籍：《增長黑

客》、《網(wǎng)站分析實戰(zhàn)》、《精益數(shù)據(jù)分析》、《深入淺出數(shù)據(jù)分析》、《啤酒與尿布》、

《數(shù)據(jù)之魅》、《StoryteHingwithData》

總之一百個人眼中有一百個哈姆雷特，一百個數(shù)據(jù)分析師對快速入門有一百種方法，但是萬變

不離其中，以上是我的愚見，希望能對你有所啟發(fā)。

因為我本人是屬于商業(yè)數(shù)據(jù)分析師的角色，所以在接下來的討論中獎主要圍繞產(chǎn)品經(jīng)理向的數(shù)

據(jù)分析師。

數(shù)據(jù)分析師的具體工作職責和工作內容有哪些？

有關于這一塊，我現(xiàn)在給大家貼幾個鏈接。

1、https:〃,/question/20129061「數(shù)據(jù)分析師的具體工作職責和工作內容有哪

些？」

2、http:〃www.pmcaff.corr/discuss/index/315805294081088數(shù)據(jù)分析師的日常工作有哪些？

如何入門數(shù)據(jù)分析？」

以下是我作為一個商業(yè)數(shù)據(jù)分析師自己的理解，我把數(shù)據(jù)分析師的工作日常總結為

下面幾個方面。

F1J產(chǎn)生數(shù)據(jù)

我這里所說的產(chǎn)生數(shù)據(jù)，并不是說去做開發(fā)或是做數(shù)據(jù)采集。我這里所說的數(shù)據(jù)是每當業(yè)務上

有新的功能點需要開發(fā)上線的時候，數(shù)據(jù)分析師需要去?圍繞著這些功能會產(chǎn)生哪些業(yè)務變化、

這個功能上線的目的是什么、上線之后該如何衡量效果等一系列問題，在功能上線前做好數(shù)據(jù)

的埋點、以及可以衡埴最終效果的指標。這樣當功能上線的時候，你可以快速的衡量業(yè)務效

果。

F2J提供數(shù)據(jù)

第一步的數(shù)據(jù)產(chǎn)生有方便了第二步的數(shù)據(jù)提供。提供數(shù)據(jù)可能是作為一個數(shù)據(jù)分析師每天都要

做的事情，甚至有時候大半天都在做這件事情。數(shù)據(jù)需求的來源是多方的，各種業(yè)務方以及產(chǎn)

能：憑著爬蟲以及數(shù)據(jù)分析的技能我找到/理想中的數(shù)據(jù)分析崗位。所以我對自己的評價一直

是：科班出身的軟件工程師、野路子的數(shù)據(jù)分析師。

從Java/Python開發(fā)到Python爬蟲到數(shù)據(jù)分析，有很多人是看著我一步一步走過來的，我想在

這里根據(jù)我自己這段野路子的學習經(jīng)歷說一說非科班如何利用業(yè)余時間學數(shù)據(jù)分析，當然只是

數(shù)據(jù)分析，不是數(shù)據(jù)挖掘。

數(shù)據(jù)分析師的能力分為：分析能力和業(yè)務能力，分析能力決定一個數(shù)據(jù)分析師的下限，業(yè)務

能力決定一個數(shù)據(jù)分析師的上限。

因為是開發(fā)出身，我的方法與其他人的不同,

我把數(shù)據(jù)分析的學習分為曲個大的階段，：

學習的第一階段：這一階段是為了培養(yǎng)自己做分析的能力

第一階段的基礎是要有數(shù)據(jù)

分析能力相對來說是死板的，通常你需要學會掌握下面這些技能:

?數(shù)據(jù)分析常用哪些算法？

?需要用哪些庫？

?如何進行計算?

?進行可視化，每一種圖表的用途是什么？

為了解決上面拋出的問題，你可以仔細學習閱讀下面的書籍:

1.利用Python進行數(shù)據(jù)分析（豆瓣）

2.SciPyandNumPy（豆瓣）

當然，如果你不想用Pyhtc,n用R去搞這么復雜的計算，那你也可以直接把清理好的數(shù)據(jù)扔在

一些做計算和可視化的工具里，我比較熟悉的就是：Tableau,以及據(jù)說不錯的PowerBL當然

最后你發(fā)現(xiàn)還是學習Pythcn或者R的數(shù)據(jù)分析庫來的實在，因為他們更加靈活。

在第一階段用工具結合Python我留下了一些文章，可以作為參考，這些都是在爬蟲抓了很多

數(shù)據(jù)之后，先有數(shù)據(jù)后結合教程書籍分析學習產(chǎn)生的內容。

1.鏈家網(wǎng)的租房數(shù)據(jù)做些有意思的事情？

2.豆瓣讀書分析報告

3.爬取6.6w+豆瓣電影之后的分析故事

學習的第二階段：這一階段是為了培養(yǎng)自己做業(yè)務的能力

在第一階段的學習你已經(jīng)學會了：

?對數(shù)據(jù)的整體感知

?知道什么時候該用什么圖表

?掌握了一?些基本的算法和分析庫

這一階段，技術不再是你的障礙，重點是要有IDEA

這一階段數(shù)據(jù)分析的步驟通常為：

?我想要做什么？分析什么？

?是否有數(shù)據(jù)能提供支持？把你想做的抽象成數(shù)據(jù)。

?數(shù)據(jù)獲取/數(shù)據(jù)清洗

?開始進行分析（語言、工具）

我們能看到這四個步驟后兩個步驟是在第一階段學習的內容，所以我們只要把精力聚焦在前兩

個步驟就可以了，那么怎樣培養(yǎng)自己數(shù)據(jù)分析的IDEA,我的方法是：多學多看多做。

多看：看一些實戰(zhàn)IDEA較多的書籍

1.數(shù)據(jù)之美（豆瓣）

2.啤酒與尿布（豆瓣）

3.深入淺出數(shù)據(jù)分析（豆瓣）

多做：

網(wǎng)絡上有很多數(shù)據(jù)分析的案例，很簡單易懂，在深層的技術點也不難，你完全可以按照他的思

路重新做一遍，就變成了你的思路了。

數(shù)據(jù)冰山的數(shù)據(jù)分析文章：

1.生活中的數(shù)據(jù)犀利哥之一：開篇及選車

2.生活中的數(shù)據(jù)犀利哥之二：排隊

3.生活中的數(shù)據(jù)犀利哥之三：找座

4.生活中的數(shù)據(jù)犀利哥之四：看趨勢

5.生活中的數(shù)據(jù)犀利哥之五：找錯因果關系

6.生活中的數(shù)據(jù)犀利哥之六：快遞員送貨

7.北上廣深哪里過得更瀟灑

8.滄海橫流，看行業(yè)起伏（2015年）

9.和頤事件之后：怎么定酒店更有安全感？

10.老鹿玩數(shù)據(jù)——不光是求婚神器（一）

11.老鹿玩數(shù)據(jù)——不光是求婚神器（二）

12.《春節(jié)自救指南》之數(shù)據(jù)分析

還有我曾經(jīng)寫的幾篇文章：

1.如何判斷一場知乎live的質量?

2.豆瓣5.6分的《西游伏妖篇》有水軍嗎？

團支書的一些回答和文章：

1.怎樣才能以最少的錢租個靠近地鐵的房子？

2.「上海富了周圍，北京坑了周圍」？-知乎

3.如何不吹牛地形容北京有多大？?知乎

等等幾位的文章都可以用來學習參考。

通過以上數(shù)據(jù)分析算是入門了，至于如何進階，我也在摸索中，希望有機會我可以更新到這篇

回答里，也歡迎在學習數(shù)據(jù)分析的同學一起交流。

數(shù)據(jù)分析實戰(zhàn)與運用

自從我的知乎讀者到達十萬之后，我經(jīng)常會受到各種私信問我為什么能有這么多讀者，有葉么

小技巧可以分享，我經(jīng)常紿到的回復是：數(shù)據(jù)分析。我的知乎能在一年多時間里從零到十五萬

是我一步一步分析到實踐的結果，那么簡單來說一說我從哪些方而做的。

1.經(jīng)常分析研究精華回答

精華回答就是知乎社區(qū)或者話題下贊同數(shù)量最多的回答，答案贊同越多答主曝光率越高，那么

被關注的機會就越大，那么如何寫?個高贊精華回答就很重要，如何寫高贊的回答？把擅長的

話題或者知乎的根話題下所有精華回答拉出來，拿一個筆記本對每一個回答做歸類做分析，學

習高贊回答的文風、思路，對我來說收獲非常大。

當然，并不是所有的高贊回答都會增粉的，那么這些就是需要結合具體的回答以及回答者的漲

粉情況去慢慢分析琢磨了。

2.經(jīng)常分析研究漲粉快的用戶

有很多小伙伴都知道，從今年年初開始，我每個月會固定抓一次知乎粉絲過萬的所有用戶，并

且做用戶的粉絲增長數(shù)量利速度排名，這些有什么用？可以拎出每個月粉絲增長數(shù)量前十或者

二十的用戶進行分析，他們?yōu)槭裁礉q粉？有什么我可以借鑒的地方，當然有很多東西是不可復

制的，也是不能復制的。

3.什么時間發(fā)什么內容？

在第一點的時候我說到高贊回答是增粉最快的手段了，就像微信公眾號一樣不同的時間發(fā)文章

閱讀量會不一樣，因為這和平臺用戶的活躍時間有關。

通過對知乎的數(shù)據(jù)的監(jiān)控分析，我知道了大部分知乎用戶在平常的時候每天的早晨九點到十點

半會活躍并且容易點贊，在晚上的九點之后容易活躍并且點贊，在周末的時候用戶容易在下午

的三到四點點贊，當然遠遠不止這些，對此我以前做過一點解釋：路人甲：為什么知乎的眾多

答主答題后獲得的贊是在「一覺睡醒」后才發(fā)現(xiàn)的呢？

通過不斷地測試分析我發(fā)現(xiàn)在計和機領域，早晨八點鐘發(fā)回答或者文章一天下來點贊數(shù)量比其

他時間段發(fā)表好，在晚上的時候發(fā)表娛樂相關的內容效果比較好。同樣我發(fā)現(xiàn)我的讀者特別喜

歡在我早晨發(fā)表回答的時候點贊，下午的時候我的重度讀者幾乎不在刷知乎。

數(shù)據(jù)分析對我的幫助遠遠不止這些，更多的時候她能幫助我看清很多東西，包括但不限于：

1.通過數(shù)據(jù)我能發(fā)現(xiàn)電影是否有水軍：豆瓣5.6分的《西游伏妖篇》評論有水軍嗎？

2.通過數(shù)據(jù)我能判斷知乎Live質量：不交智商稅，如何判斷一場知乎live的質量？

3.通過數(shù)據(jù)幫助業(yè)務人員發(fā)現(xiàn)一些他們發(fā)現(xiàn)不了的東西：大數(shù)據(jù)對物流管理有什么影響？

4.克服我的選擇困難癥，用大眾點評數(shù)據(jù)幫我選合適的餐廳：約會聚餐如何正確選擇餐館？

5.用新浪微博數(shù)據(jù)揭露華為海軍的真面目：路人甲：如何評論華為官方對閃存事件的PI復

如何用EXCEL做數(shù)據(jù)分析？

其實在正式開始工作之前我是很排斥用Excel做分析的，那時候我用Tableau和Python,有時

候甚至做個平均值也扔到Tableau算一下。我一直認為Python和Tableau運用比較自由，而

Excel在我的心目中一直是比較刻板的，我覺得這個印象可能跟初高中的時候的計算機課程有

關。

不過直到工作之后，我才發(fā)現(xiàn)Excel其實是大家用著最多的，業(yè)務人員會用Excel、財務人員會

用Excel,總之人人都會使用Excel,而作為數(shù)據(jù)分析師會用Excel做分析是與業(yè)務人溝通的一

架橋梁。

當然，當我開始使用Excel做分析之后我發(fā)現(xiàn)Excel還有如下的優(yōu)點:

1.輕便，不需要多余的工具或語言環(huán)境

2.可視化非常方便

3.簡單易上手，對于非技術是個很好的選擇

4.學習成本低、學習速度快

我這里用Excel做的一個很簡單的統(tǒng)計和分析的例子：我這邊有一份數(shù)據(jù)是來自安居客網(wǎng)站的

二手房的一些數(shù)據(jù)％我們接到來自上級的任務：我們需要在上海的高檔小區(qū)中做一些產(chǎn)品的推

廣，請給我找到這些高檔社區(qū)。

EK匐小I年代?5mu?HHl小區(qū)■?戶?有2看?%

5sa*os2X6ft8^248氈"S嫉公.?W1離4m)律?"?1214CS313123?$

“2G0J2CU1聞124H加t1■奇22磔?1ft*1????)?*??U1.4K?弟21@U

匕

im?ot2C，6-Hg公.皿自raxwU14W3121293?S

S?*OI2C：6-WVHMR￡4?6?*WKMI)■”塔U14>3?黑初加到

2M6<a^24Sg公?“5南￡缶供38芾MRWUI44323121花555?

大

5M*OI2C：68月228it禽名序20?ffiAGt2W?Xhfrg助a*M*12143113120H3XJE

“:<皿axbwwnw■更?總g公?X。南R?KWU14WXMne”

VM?SM6■?用26?重60xm公尊耳**?看;

妾

水6套8月乂日W&C?。?0今*556飛安點W)1??<1M7031222MA

$?工32C"-M月加，：803t-c?)—U1/?R?】NA1

食

snoot2otb*a月19Hteam2W缶食U0?M??MX?021214C?3119W9

%F?B雙3月：on京力創(chuàng)立78?公*X4Tft*,成，m】n4U33：ma

$7?*?東力彩4w.公?M?”???*??修律1ft4U$熊必i

9E0S2C￡6g月I9B鮮次皿公*150伏友庭共二除>*??121/C96311M3

3E?S2CI61月！9H2W?金.出)翕於*?naaa?MitH14?63119tt9

SEWII?忙班，gQ*徐?！?CrfM?8)稽獎?U14：G；men

$MS2cx維所24H古牝■殳￡2S(公宣in?<#?**ia，:eK2W?

S7S￡?M2ct63月：6日人』外42UR公、⑼歷21國共連名，蕓母U13I3BS1Z21Z7

5M￡?(?說，陵8X23H1*9120X公*m障豆?BJR叫MHW121^1933：mz

|2Ct6??J123n20?149■?"?

“比?(?2CXG住3月22n東方?內X>?金.149H5季?打2：離?2?"加】

5su*a捌一月24日M??Xwr至幺a43?賓情*8*M卬

&eu?oa2MlM月MH>a??bX1：3，.重會回43讖7冷瑞”心3

S30I2M6W|MB?4小區(qū)1：9V43?KMIMKW7074-1

5班?(?23IGW8fl?Bn<B?203公*W1,今■D滋：3節(jié)

$????宓9月25BP^as20a公*MlAX.■**博

2C：6g月MBK.UAU*2皿??uai得』JJeHIXW

s底?0l2C：6m22H?1J?B:wt公?131??*箕"唐?，?，

5?f*MXtG?8^25R?火除Ml,今*M5?。於33?2

"汽?”2c月；88RzC-ar2W公*M?*霹15

2c:6―月25H,無名仆:w?公宜W￡11

“wKZ^W3fltt*4inmvant3可復?BA2C*：21

57?*0l2c166的：8H??"*”next???：：?217

S76E*OB2ag月：BHag公*H8HMt21

三

3%O3g公*ne翕食?暑又：:展21

*70K?0>2CfK：UII直d<g】；■N5XW：：幽21

$*0l2c：6”用：g1*IF?t20X￡?ne?t???；：?19

！

saE?a2ct6gmiB?HMH86:JW公*361幅共7砌5

???*???"?**?????????

接到任務之后，我們對照著數(shù)據(jù)做一個拆解，高檔社區(qū)應該有什么特點呢？房屋單價高是一個

很重要的指標，小區(qū)的綠化率也可以做一定的參考，裝修的一定要不錯。

1、所以我們先篩選出精裝修和豪華裝修的的二手房。

j）0B^uf~~0，加明，電山電口，熊

分列解除數(shù)據(jù)驗證合并模擬分析組合取消組合d'v

重復項計算

FGH1JKLMN

朝向

面積樓層裝修程度;i房屋單價參考首付參考總價經(jīng)度緯度

南

399.1低層供8層）簡單裝修?裝修程度

南

399.1低層（共8層）簡單裝修

175.9中層（共38層）精裝修排序

205南北低層（共6層）豪華裝修1

“降序

175低層供38層）精裝修X升序1

府北

234中層（共9層）豪華裝修

KJ按顏色：無0

146L中層（共38層）簡單裝修1

153.3高層（共38層）精裝修

南

J匕篩選器

55.6低層（共6層）精裝修

匕

南J

55.6低層供6層）精裝修按顏色：無0

匕

南

150中層（共20層）精裝修?*

147高層（共36層）精裝修選擇一個H|1

南

147西高層（共36層）精裝修)1

北

南Q投霧*

150高層（共：9層）豪華裝修i

北

南

150高層（共：9層）豪華裝修

南Q（全選）

68.9高層（共8層）精裝修

匕

南J

171中層（共35層）簡單裝修K3豪華裝修

匕

南J

100低層供：5層）精裝修

匕

南J83簡單裝修

137中層（共7層）精裝修再精裝修

149中層（共31層）豪華裝修

149中層（共31層）豪華裝修ea毛坯

43共5層精裝修s中等裝修

43共5層精裝修1

南

43共5層精裝修1

南

J匕

141低層（共18層）簡單裝修t

南Jt

141低層（共：8層）簡單裝修，月時,"人I

南*

128.1低層（共：8層）精裝修

南

131中層（共27層）豪華裝修r763353001000121.4409312182

2、我們想在以上的已經(jīng)篩選出的數(shù)據(jù)里面找到平均房屋單價最高的小區(qū)。于是很多眼疾手快的

小伙伴直接選擇房屋單價這一列進行降序排序。如果你這么做確實可以找出二手房價格最高的

房子所屬小區(qū)。但是注意審題，我們是要找出的單價最高的小區(qū)。

2連接

以均消除

「zJ卜序

本新建故里座全圖刷新篩選%高級分列數(shù)據(jù)驗證合并模怨￡

登詢編輯自接計，

fx房屋冷價

排序警告

CD

小區(qū)年弋

一

=8月M灣豐香維Z當前所選內容以外的數(shù)據(jù)不會進行排序。13280515S

￡8月24f鴻豐香線Z二13280515S

您要進行什么操作？

E8月⑶1嘉里華庭-1125635￡

F8月24f暢翠苑。擴展選定區(qū)域10731766

一

卬月2〃嘉里華庭10057152

田月2211港海名郵以當前選定區(qū)域排序二9829065

L8月23E1嘉里華庭-9794542

44

田月13f嘉里華庭一96567

卬月24fit安西路493115155

取消排序二

E8月24f延安西谿493115155

印月⑼金色貝拉49000042

寓

西南

公

F8月W東方氫橋高層（共36層）精裝修884353$

寓

公

西

南

咫月191東方曳橋高層（共36層）精裝修884353?