大數(shù)據(jù)分析要學(xué)什么

　　很多初入大數(shù)據(jù)領(lǐng)域或者轉(zhuǎn)行進(jìn)入大數(shù)據(jù)領(lǐng)域的朋友，需要了解的第一件事不是說(shuō)各種組件框架生態(tài)相關(guān)的東西，也不是各種編程語(yǔ)言基礎(chǔ)。
 

　　而是，了解清楚以下幾個(gè)問(wèn)題：
 

　　1)大數(shù)據(jù)領(lǐng)域到底包含了哪些東西，解決了哪些問(wèn)題?
 

　　2)自己的實(shí)際基礎(chǔ)是什么，如何結(jié)合自己的基礎(chǔ)以及興趣愛(ài)好，在整個(gè)大數(shù)據(jù)領(lǐng)域鏈路中，找到最好的切入點(diǎn)。只有解決了上面兩個(gè)問(wèn)題，才能給自己最精確的定位，找準(zhǔn)方向深入下去。
 

　　第一個(gè)問(wèn)題，大數(shù)據(jù)領(lǐng)域的范圍。
 

　　現(xiàn)在一說(shuō)起大數(shù)據(jù)分析，簡(jiǎn)單起來(lái)就是一個(gè)詞，但其實(shí)這個(gè)方向已經(jīng)可以形成一個(gè)技術(shù)領(lǐng)域了，包含了方方面面的技術(shù)點(diǎn)，也提供了各種不同的技術(shù)崗位。所以，不同的崗位，對(duì)應(yīng)的需求，工作內(nèi)容都是不同的。
 

　　我們可以根據(jù)數(shù)據(jù)從下到上，從無(wú)到有，到產(chǎn)生價(jià)值整個(gè)數(shù)據(jù)業(yè)務(wù)流程來(lái)拆解，并且與此同時(shí)，來(lái)看看每個(gè)環(huán)節(jié)我們需要的技術(shù)儲(chǔ)備以及能做的事有哪些。大數(shù)據(jù)分析的幾大基本業(yè)務(wù)流程：
 

　　收集 -> 傳輸 -> 轉(zhuǎn)換/清洗 ->存儲(chǔ) -> 再加工 -> 挖掘/統(tǒng)計(jì) -> 上層應(yīng)用輸出

　　總的來(lái)說(shuō)，可以分以下幾個(gè)大塊。
 

第一環(huán)：數(shù)據(jù)的收集
 

　　在收集階段，我們來(lái)看看數(shù)據(jù)主要有哪幾種存在方式：
 

　　1)第三方開(kāi)放數(shù)據(jù)集
 

　　2)業(yè)務(wù)數(shù)據(jù)
 

　　3)服務(wù)日志
 

　　4)行為上報(bào)數(shù)據(jù)
 

　　首先針對(duì)于第三方開(kāi)放數(shù)據(jù)，目前爬取第三方開(kāi)放數(shù)據(jù)的形式已經(jīng)逐漸被認(rèn)可，并且將會(huì)越來(lái)越多的人以及企業(yè)從互聯(lián)網(wǎng)開(kāi)放數(shù)據(jù)集中獲取原始數(shù)據(jù)。所以，針對(duì)于開(kāi)放數(shù)據(jù)的獲取，爬蟲(chóng)已經(jīng)可以單獨(dú)形成一個(gè)體系了，包括不同的爬蟲(chóng)框架，以及近年來(lái)對(duì)于分布式爬蟲(chóng)的技術(shù)需求等，在語(yǔ)言方面主要還是python以及java為主，輔助其他相關(guān)腳本知識(shí)。
 

　　如果數(shù)據(jù)是業(yè)務(wù)數(shù)據(jù)，那么通常在傳統(tǒng)的路子中，業(yè)務(wù)數(shù)據(jù)一般存儲(chǔ)在傳統(tǒng)的數(shù)據(jù)庫(kù)中，那么，對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)相關(guān)的技術(shù)知識(shí)不可避免的需要有所了解。
 

　　我們需要對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一化處理，又不可避免的涉及到數(shù)據(jù)的遷移，即從傳統(tǒng)數(shù)據(jù)存儲(chǔ)介質(zhì)中遷移到諸如hadoop生態(tài)中，那么涉及的遷移框架諸如sqoop之類的，又是不能不懂一些。在語(yǔ)言以及基礎(chǔ)要求上，對(duì)SQL相關(guān)的知識(shí)需要補(bǔ)充，以及l(fā)inux操作，簡(jiǎn)單的python需要掌握。
 

　　最后，如果是數(shù)據(jù)上報(bào)的形式，你需要對(duì)整個(gè)數(shù)據(jù)上報(bào)的流程熟悉，怎么進(jìn)行埋點(diǎn)、怎么收集上報(bào)的數(shù)據(jù)，上報(bào)過(guò)來(lái)怎么進(jìn)行傳輸接受落地，這里就不多說(shuō)，最終這種上報(bào)過(guò)來(lái)的數(shù)據(jù)反倒相對(duì)規(guī)整。
 

第二環(huán)：數(shù)據(jù)的傳輸
 

　　數(shù)據(jù)的傳輸?shù)降自谑裁磿r(shí)候會(huì)涉及到呢?諸如上面說(shuō)到的數(shù)據(jù)上報(bào)，在大數(shù)據(jù)模式下，通常上報(bào)過(guò)來(lái)的數(shù)據(jù)我們都不會(huì)馬上進(jìn)行落地的，因?yàn)樯婕暗讲煌糠制湫什灰粯?，在峰值波?dòng)的情況下，直接落地十有八九都會(huì)導(dǎo)致系統(tǒng)宕機(jī)。

　　所以，數(shù)據(jù)的傳輸在大數(shù)據(jù)領(lǐng)域中有著不可替代的左右，會(huì)出現(xiàn)在各種系統(tǒng)耦合之間，一方面用作數(shù)據(jù)的傳輸，另一方面用作數(shù)據(jù)的緩沖、系統(tǒng)解耦。在hadoop生態(tài)中，最有名的莫過(guò)于kafka與flume的組合搭配了，收集數(shù)據(jù)，并進(jìn)行數(shù)據(jù)傳輸，此外還有不少類似的消息隊(duì)列存在，諸如ActiveMQ、阿里的RocketMQ等等。
 

第三環(huán)：數(shù)據(jù)的存儲(chǔ)
 

　　生態(tài)中最最核心的存儲(chǔ)組件莫過(guò)于HDFS了，這是支撐hadoop能夠做大批量數(shù)據(jù)處理的基礎(chǔ)支撐，便捷而強(qiáng)悍的橫向擴(kuò)展能力。還有各種基于此之上不同形式的數(shù)據(jù)存儲(chǔ)方式，諸如hive、HBase、甚至ES、Solr勉強(qiáng)都算，以及不可忽略的傳統(tǒng)類型的SQL存儲(chǔ)方式。

　　我們需要理解的是，不同的存儲(chǔ)方式應(yīng)對(duì)于實(shí)際的應(yīng)用場(chǎng)景是不同的，HDFS作為最基礎(chǔ)的分布式文件系統(tǒng)，我們就不多說(shuō)。如Hive其更作用更多用于類傳統(tǒng)式的SQL查詢操作，其對(duì)于效應(yīng)效率要求并不高，但對(duì)于數(shù)據(jù)規(guī)模的支撐性良好;而HBase則更偏向于即席查詢，要求有更高的響應(yīng)效率，但對(duì)于查詢的復(fù)雜性支持上則相對(duì)較弱。
 

　　而我們說(shuō)諸如ES、Solr都也勉強(qiáng)算是一種數(shù)據(jù)存儲(chǔ)的組織方式，其實(shí)也是有一定道理的，因?yàn)樗麄儽旧硪仓С诌@種分布式的數(shù)據(jù)存儲(chǔ)，只不過(guò)他們是為了應(yīng)對(duì)于自己框架的檢索需求而設(shè)計(jì)的數(shù)據(jù)存儲(chǔ)組織。如Redis，也算是目前大數(shù)據(jù)生態(tài)中不可缺少的數(shù)據(jù)存儲(chǔ)方式之一，基于內(nèi)容，應(yīng)對(duì)于高效的數(shù)據(jù)存儲(chǔ)與讀取，在很多的實(shí)際應(yīng)用場(chǎng)景中都用的到。
 

第四環(huán)：數(shù)據(jù)的再加工
 

　　其實(shí)這一層主要要說(shuō)就是基于Hadoop的MR框架以及Spark，當(dāng)然，也有其他的一些分布式數(shù)據(jù)處理框架。
 

　　大規(guī)模的數(shù)據(jù)清洗轉(zhuǎn)換、再加工，都離不開(kāi)分布式處理框架的支持。我們需要對(duì)雜亂的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、對(duì)殘缺的數(shù)據(jù)進(jìn)行補(bǔ)全、對(duì)原始的數(shù)據(jù)進(jìn)行深度加工提取高級(jí)屬性等等。簡(jiǎn)單的，我們可以通過(guò)一些處理腳本來(lái)做，但針對(duì)于大規(guī)模的數(shù)據(jù)量級(jí)，我們依然需要依賴MR或者spark這種框架來(lái)處理。而針對(duì)于一些實(shí)時(shí)的場(chǎng)景，我們也不可避免的需要掌握諸如storm以及spark streaming之類的實(shí)時(shí)框架。所以，在這一環(huán)，我們不止需要了解不同的大數(shù)據(jù)處理框架，我們還需要在基于框架的基礎(chǔ)上，做數(shù)據(jù)應(yīng)用開(kāi)發(fā)，進(jìn)行數(shù)據(jù)處理。
 

最后一環(huán)：數(shù)據(jù)應(yīng)用價(jià)值輸出
 

　　前面我們做了很多事，包括數(shù)據(jù)的收集、傳輸、處理、存儲(chǔ)等等，但這些都是手段，都不是我們的目的。我們的目的是讓數(shù)據(jù)產(chǎn)生價(jià)值，這也是企業(yè)做大數(shù)據(jù)的核心目的。
 

　　我們可以用數(shù)據(jù)來(lái)做什么：
 

　　1)基于統(tǒng)計(jì)分析、數(shù)據(jù)預(yù)測(cè)，做數(shù)據(jù)化運(yùn)營(yíng)、決策，提升效率、效果，這是最常見(jiàn)的應(yīng)用場(chǎng)景。
 

　　2)做推薦，在主體之外產(chǎn)生衍生價(jià)值，提升單位價(jià)值轉(zhuǎn)換。
 

　　3)畫(huà)像體系，至于說(shuō)畫(huà)像能做什么，只要能做的準(zhǔn)，能做的事可多了。
 

　　4)基于數(shù)據(jù)化、智能化的搜索。
 

　　5)實(shí)現(xiàn)業(yè)務(wù)的數(shù)據(jù)化、自動(dòng)化、智能化。