剖析什么是大數(shù)據(jù)分析

　　大數(shù)據(jù)分析，您以前沒有聽過(guò)這個(gè)詞嗎?在過(guò)去的4至5年中，每個(gè)人都在談?wù)摯髷?shù)據(jù)分析。但是您真的知道這個(gè)大數(shù)據(jù)分析到底是什么，它對(duì)我們的生活有何影響，以及為什么組織正在尋找具有大數(shù)據(jù)分析技能的專業(yè)人員?在本大數(shù)據(jù)分析文章中，AAA教育小編將為您提供有關(guān)大數(shù)據(jù)分析的完整見解。

　　以下是我將在本大數(shù)據(jù)分析培訓(xùn)課程中介紹的主題：

　　1、大數(shù)據(jù)分析的故事

　　2、大數(shù)據(jù)分析驅(qū)動(dòng)因素

　　3、什么是大數(shù)據(jù)分析?

　　4、大數(shù)據(jù)分析特征

　　5、大數(shù)據(jù)分析類型

　　6、大數(shù)據(jù)分析示例

　　7、大數(shù)據(jù)分析的應(yīng)用

　　8、大數(shù)據(jù)分析挑戰(zhàn)
 

　　讓我從一個(gè)簡(jiǎn)短的故事開始這個(gè)大數(shù)據(jù)分析培訓(xùn)課程。
 

一、大數(shù)據(jù)分析的故事
 

　　在遠(yuǎn)古時(shí)代，人們?cè)?jīng)用馬車從一個(gè)村莊到另一個(gè)村莊旅行，但是隨著時(shí)間的流逝，村莊變成了城鎮(zhèn)，人們散布開來(lái)。從一個(gè)鎮(zhèn)到另一個(gè)鎮(zhèn)的距離也增加了。因此，隨身攜帶行李成為在城鎮(zhèn)之間旅行的問(wèn)題。突然，一個(gè)聰明的家伙建議，我們應(yīng)該多梳洗一匹馬，以解決這個(gè)問(wèn)題。當(dāng)我看這個(gè)解決方案時(shí)，還不錯(cuò)，但是您認(rèn)為一匹馬會(huì)變成大象嗎?我不這么認(rèn)為。另一個(gè)聰明的家伙說(shuō)，讓我們有4匹馬來(lái)拉同一輛車，而不是1匹馬拉車。你們?nèi)绾慰创@個(gè)解決方案?我認(rèn)為這是一個(gè)很棒的解決方案。現(xiàn)在，人們可以在更短的時(shí)間內(nèi)長(zhǎng)途跋涉，甚至可以攜帶更多的行李。
 

　　相同的概念適用于大數(shù)據(jù)分析。大數(shù)據(jù)分析表示，直到今天，我們還可以將數(shù)據(jù)存儲(chǔ)到服務(wù)器中，因?yàn)閿?shù)據(jù)量非常有限，并且處理這些數(shù)據(jù)的時(shí)間也還可以。但是現(xiàn)在在當(dāng)今的技術(shù)世界中，數(shù)據(jù)增長(zhǎng)過(guò)快，人們很多時(shí)候都依賴數(shù)據(jù)。同樣，數(shù)據(jù)的增長(zhǎng)速度很快，就不可能將數(shù)據(jù)存儲(chǔ)到任何服務(wù)器中。
 

　　通過(guò)AAA教育大數(shù)據(jù)分析培訓(xùn)課程，讓我們探索傳統(tǒng)系統(tǒng)無(wú)法存儲(chǔ)和處理的大數(shù)據(jù)分析來(lái)源。
 

二、大數(shù)據(jù)分析驅(qū)動(dòng)因素
 

　　出于多種原因，地球上的數(shù)據(jù)量呈指數(shù)增長(zhǎng)。各種來(lái)源和我們的日?；顒?dòng)都會(huì)產(chǎn)生大量數(shù)據(jù)。隨著網(wǎng)絡(luò)的發(fā)明，整個(gè)世界已經(jīng)聯(lián)機(jī)，我們所做的每一件事都留下了數(shù)字痕跡。隨著智能對(duì)象上線，數(shù)據(jù)增長(zhǎng)率迅速提高。大數(shù)據(jù)分析的主要來(lái)源是社交媒體站點(diǎn)，傳感器網(wǎng)絡(luò)，數(shù)字圖像/視頻，手機(jī)，購(gòu)買交易記錄，Web日志，病歷，檔案，軍事監(jiān)視，電子商務(wù)，復(fù)雜的科學(xué)研究等。所有這些信息總計(jì)約五百億字節(jié)的數(shù)據(jù)。到2020年，數(shù)據(jù)量將達(dá)到40 ZB，相當(dāng)于將地球上每一個(gè)沙粒的總和乘以75。
 

三、什么是大數(shù)據(jù)分析?

　　大數(shù)據(jù)分析是一個(gè)大而復(fù)雜的數(shù)據(jù)集的集合，很難使用可用的數(shù)據(jù)庫(kù)管理工具或傳統(tǒng)的數(shù)據(jù)處理應(yīng)用程序進(jìn)行存儲(chǔ)和處理。挑戰(zhàn)包括捕獲，管理，存儲(chǔ)，搜索，共享，傳輸，分析和可視化此數(shù)據(jù)。
 

四、大數(shù)據(jù)分析特征
 

　　定義大數(shù)據(jù)分析的五個(gè)特征是：數(shù)量，速度，多樣性，準(zhǔn)確性和價(jià)值。

　　4.1、體積

　　數(shù)量是指“數(shù)據(jù)量”，它以非常快的速度每天增長(zhǎng)。人，機(jī)器及其在社交媒體上的交互所生成的數(shù)據(jù)量巨大。研究人員預(yù)測(cè)，到2020年將產(chǎn)生40 ZB(40,000 Exabytes)，比2005年增長(zhǎng)300倍。

　　4.2、速度
 

　　速度定義為不同來(lái)源每天生成數(shù)據(jù)的速度。這種數(shù)據(jù)流是巨大且連續(xù)的。截至目前，移動(dòng)上的每日活躍用戶(Facebook DAU)達(dá)到10.3億，同比增長(zhǎng)22%。這顯示了社交媒體上用戶數(shù)量的增長(zhǎng)速度以及每天生成數(shù)據(jù)的速度。如果您能夠處理速度，則將能夠生成見解并根據(jù)實(shí)時(shí)數(shù)據(jù)做出決策。

　　4.3、品種
 

　　由于有許多來(lái)源有助于大數(shù)據(jù)分析，因此它們生成的數(shù)據(jù)類型是不同的。它可以是結(jié)構(gòu)化，半結(jié)構(gòu)化或非結(jié)構(gòu)化的。因此，每天都會(huì)生成各種數(shù)據(jù)。之前，我們?cè)?jīng)從Excel和數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)，現(xiàn)在數(shù)據(jù)以圖像，音頻，視頻，傳感器數(shù)據(jù)等形式出現(xiàn)，如下圖所示。因此，各種各樣的非結(jié)構(gòu)化數(shù)據(jù)在捕獲，存儲(chǔ)，挖掘和分析數(shù)據(jù)方面造成了問(wèn)題。

　　4.4、準(zhǔn)確性
 

　　準(zhǔn)確性是指由于數(shù)據(jù)不一致和不完整而對(duì)可用數(shù)據(jù)存有疑問(wèn)或不確定性。在下圖中，您可以看到表格中缺少幾個(gè)值。另外，有些值很難接受，例如–第三行的最小值15000，這是不可能的。這種不一致和不完整就是準(zhǔn)確性。

　　可用數(shù)據(jù)有時(shí)會(huì)變得混亂，甚至難以信任。擁有多種形式的大數(shù)據(jù)分析，難以控制質(zhì)量和準(zhǔn)確性，例如帶有標(biāo)簽，縮寫，錯(cuò)別字和口語(yǔ)的Twitter帖子。數(shù)據(jù)量通常是數(shù)據(jù)缺乏質(zhì)量和準(zhǔn)確性的原因。
 

　　由于數(shù)據(jù)的不確定性，三分之一的業(yè)務(wù)主管不信任他們用于決策的信息。
 

　　在一項(xiàng)調(diào)查中發(fā)現(xiàn)，有27%的受訪者不確定自己的數(shù)據(jù)有多少不準(zhǔn)確。
 

　　糟糕的數(shù)據(jù)質(zhì)量每年給美國(guó)經(jīng)濟(jì)造成約3.1萬(wàn)億美元的損失。
 

　　4.5、值
 

　　在討論了體積，速度，多樣性和準(zhǔn)確性之后，在查看大數(shù)據(jù)分析(即價(jià)值)時(shí)，還應(yīng)該考慮另一個(gè)V。訪問(wèn)大數(shù)據(jù)分析固然很好，但除非我們能夠?qū)⑵滢D(zhuǎn)化為價(jià)值，否則它是沒有用的。通過(guò)將其轉(zhuǎn)化為價(jià)值，我的意思是，它是否會(huì)增加正在分析大數(shù)據(jù)分析的組織的收益?致力于大數(shù)據(jù)分析的組織是否實(shí)現(xiàn)了高ROI(投資回報(bào)率)?除非它通過(guò)處理大數(shù)據(jù)分析來(lái)增加他們的利潤(rùn)，否則它是沒有用的。
 

　　正如在Variety中討論的那樣，每天都會(huì)生成不同類型的數(shù)據(jù)。因此，讓我們現(xiàn)在了解數(shù)據(jù)的類型：
 

五、大數(shù)據(jù)分析類型
 

　　大數(shù)據(jù)分析可以分為三種類型：
 

　　5.1、結(jié)構(gòu)化的

　　5.2、半結(jié)構(gòu)化

　　5.3、非結(jié)構(gòu)化

　　5.1、結(jié)構(gòu)化的
 

　　可以以固定格式存儲(chǔ)和處理的數(shù)據(jù)稱為結(jié)構(gòu)化數(shù)據(jù)。關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)中存儲(chǔ)的數(shù)據(jù)是“結(jié)構(gòu)化”數(shù)據(jù)的一個(gè)示例。由于結(jié)構(gòu)化數(shù)據(jù)具有固定的架構(gòu)，因此很容易處理。結(jié)構(gòu)化查詢語(yǔ)言(SQL)通常用于管理此類數(shù)據(jù)。
 

　　5.2、半結(jié)構(gòu)化
 

　　半結(jié)構(gòu)化數(shù)據(jù)是一種不具有數(shù)據(jù)模型的正式結(jié)構(gòu)(即關(guān)系DBMS中的表定義)的數(shù)據(jù)類型，但是它具有一些組織屬性(如標(biāo)簽和其他標(biāo)記)來(lái)分隔語(yǔ)義元素，這使得它更容易分析。XML文件或JSON文檔是半結(jié)構(gòu)化數(shù)據(jù)的示例。
 

　　5.3、非結(jié)構(gòu)化
 

　　除非轉(zhuǎn)換為結(jié)構(gòu)化格式，否則格式未知且無(wú)法存儲(chǔ)在RDBMS中且無(wú)法進(jìn)行分析的數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)。文本文件和多媒體內(nèi)容(例如圖像，音頻，視頻)是非結(jié)構(gòu)化數(shù)據(jù)的示例。專家說(shuō)，非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)速度比其他數(shù)據(jù)快，專家表示，組織中80%的數(shù)據(jù)都是非結(jié)構(gòu)化的。
 

　　到目前為止，我僅介紹了大數(shù)據(jù)分析的介紹。此外，本大數(shù)據(jù)分析教程還討論了大數(shù)據(jù)分析中的示例，應(yīng)用程序和挑戰(zhàn)。
 

六、大數(shù)據(jù)分析示例
 

　　每天，我們上傳數(shù)百萬(wàn)字節(jié)的數(shù)據(jù)。最近兩年創(chuàng)建了世界90%的數(shù)據(jù)。

　　沃爾瑪每小時(shí)處理超過(guò)一百萬(wàn)次客戶交易。
 

　　百度的存儲(chǔ)，訪問(wèn)和分析30 PB以上用戶生成的數(shù)據(jù)。
 

　　每天都會(huì)創(chuàng)建230+百萬(wàn)條軟文。
 

　　全球有超過(guò)50億人在用手機(jī)打電話，發(fā)短信，發(fā)推文和瀏覽。
 

　　抖音用戶每天每分鐘上傳48個(gè)小時(shí)的新視頻。
 

　　阿里巴巴每天處理1500萬(wàn)客戶點(diǎn)擊流用戶數(shù)據(jù)以推薦產(chǎn)品。
 

　　每天發(fā)送2940億封電子郵件。服務(wù)會(huì)分析此數(shù)據(jù)以查找垃圾郵件。
 

　　現(xiàn)代汽車有近100個(gè)傳感器，可監(jiān)控燃油水平，輪胎壓力等。每輛汽車都會(huì)生成大量傳感器數(shù)據(jù)。
 

七、大數(shù)據(jù)分析的應(yīng)用
 

　　我們不能談?wù)摂?shù)據(jù)，而無(wú)需談?wù)撃切拇髷?shù)據(jù)分析應(yīng)用程序中受益的人。當(dāng)今，幾乎所有行業(yè)都以一種或另一種方式利用大數(shù)據(jù)分析應(yīng)用程序。

　　更智慧的醫(yī)療保?。豪没颊邤?shù)據(jù)的PB級(jí)，組織可以提取有意義的信息，然后構(gòu)建可以預(yù)先預(yù)測(cè)患者病情惡化的應(yīng)用程序。
 

　　電信：電信部門收集信息，對(duì)其進(jìn)行分析并提供針對(duì)不同問(wèn)題的解決方案。通過(guò)使用大數(shù)據(jù)分析應(yīng)用程序，電信培訓(xùn)機(jī)構(gòu)已經(jīng)能夠顯著減少數(shù)據(jù)包丟失(這種情況在網(wǎng)絡(luò)過(guò)載時(shí)發(fā)生)，從而為客戶提供無(wú)縫連接。
 

　　零售：零售的利潤(rùn)空間最窄，是大數(shù)據(jù)分析的最大受益者之一。在零售業(yè)中使用大數(shù)據(jù)分析的好處在于了解消費(fèi)者的行為。亞馬遜的推薦引擎根據(jù)消費(fèi)者的瀏覽歷史記錄提供建議。
 

　　交通控制：交通擁堵是全球許多城市面臨的主要挑戰(zhàn)。隨著城市人口的日益稠密，有效利用數(shù)據(jù)和傳感器將是更好地管理交通的關(guān)鍵。
 

　　制造業(yè)：分析制造業(yè)中的大數(shù)據(jù)分析可以減少組件缺陷，提高產(chǎn)品質(zhì)量，提高效率并節(jié)省時(shí)間和金錢。
 

　　搜索質(zhì)量：每次我們從Google提取信息時(shí)，我們都會(huì)同時(shí)為其生成數(shù)據(jù)。Google會(huì)存儲(chǔ)這些數(shù)據(jù)，并使用它來(lái)提高搜索質(zhì)量。
 

　　有人正確地說(shuō)：“花園里不是所有的東西都是玫瑰花!”。到目前為止，在本大數(shù)據(jù)分析教程中，我剛剛向您展示了大數(shù)據(jù)分析的美好前景。但是，如果利用大數(shù)據(jù)分析如此簡(jiǎn)單，您難道不認(rèn)為所有組織都會(huì)對(duì)此進(jìn)行投資嗎?我先告訴你，事實(shí)并非如此。使用大數(shù)據(jù)分析時(shí)會(huì)遇到一些挑戰(zhàn)。
 

　　既然您已經(jīng)熟悉了大數(shù)據(jù)分析及其各種功能，那么本博客大數(shù)據(jù)分析教程的下一部分將闡明大數(shù)據(jù)分析面臨的一些主要挑戰(zhàn)。
 

八、大數(shù)據(jù)分析挑戰(zhàn)
 

　　讓我告訴您一些大數(shù)據(jù)分析帶來(lái)的挑戰(zhàn)：
 

　　數(shù)據(jù)質(zhì)量 –這里的問(wèn)題是第四個(gè) V，即準(zhǔn)確性。此處的數(shù)據(jù)非?；靵y，不一致且不完整。在美國(guó)，臟數(shù)據(jù)每年給培訓(xùn)機(jī)構(gòu)造成的損失達(dá)6000億美元。
 

　　發(fā)現(xiàn) –在大數(shù)據(jù)分析上找到見解就像在大海撈針。使用極其強(qiáng)大的算法來(lái)分析PB級(jí)數(shù)據(jù)以查找模式和見解非常困難。
 

　　存儲(chǔ) –組織擁有的數(shù)據(jù)越多，管理它的問(wèn)題就越復(fù)雜。這里出現(xiàn)的問(wèn)題是“在哪里存儲(chǔ)它?”。我們需要一個(gè)可以輕松按需擴(kuò)展或縮小規(guī)模的存儲(chǔ)系統(tǒng)。
 

　　分析 –對(duì)于大數(shù)據(jù)分析，大多數(shù)時(shí)候我們都不知道我們要處理的數(shù)據(jù)類型，因此分析數(shù)據(jù)更加困難。
 

　　安全性 –由于數(shù)據(jù)量巨大，因此確保數(shù)據(jù)安全是另一個(gè)挑戰(zhàn)。它包括用戶身份驗(yàn)證，基于用戶的訪問(wèn)限制，記錄數(shù)據(jù)訪問(wèn)歷史記錄，正確使用數(shù)據(jù)加密等。
 

　　人才匱乏–大型組織中有許多大數(shù)據(jù)分析項(xiàng)目，但是擁有足夠的領(lǐng)域知識(shí)的成熟的開發(fā)人員，數(shù)據(jù)科學(xué)家和分析師團(tuán)隊(duì)仍然是一個(gè)挑戰(zhàn)。
 

　　Hadoop的救援
 

　　我們有一個(gè)應(yīng)對(duì)大數(shù)據(jù)分析挑戰(zhàn)的救星– Hadoop。Hadoop是一個(gè)基于Java的開源編程框架，支持在分布式計(jì)算環(huán)境中存儲(chǔ)和處理超大型數(shù)據(jù)集。它是由Apache Software Foundation贊助的Apache項(xiàng)目的一部分。

　　Hadoop及其分布式處理比傳統(tǒng)的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)更有效地處理大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。Hadoop使在具有數(shù)千個(gè)通用硬件節(jié)點(diǎn)的系統(tǒng)上運(yùn)行應(yīng)用程序以及處理數(shù)千TB數(shù)據(jù)成為可能。組織之所以采用Hadoop，是因?yàn)镠adoop是一種開源軟件，可以在商用硬件(您的個(gè)人計(jì)算機(jī))上運(yùn)行。由于商品硬件非常便宜，因此最初的成本節(jié)省非常可觀。隨著組織數(shù)據(jù)的增加，您需要即時(shí)添加越來(lái)越多的商品硬件來(lái)存儲(chǔ)它，因此，Hadoop被證明是經(jīng)濟(jì)的。此外，Hadoop背后還擁有一個(gè)強(qiáng)大的Apache社區(qū)，該社區(qū)將繼續(xù)為其發(fā)展做出貢獻(xiàn)。
 

　　如前所述，通過(guò)此大數(shù)據(jù)分析培訓(xùn)課程，我為您提供了有關(guān)大數(shù)據(jù)分析的權(quán)威認(rèn)識(shí)。大數(shù)據(jù)分析教程到此結(jié)束。之前我給大家分享過(guò)《Hadoop在大數(shù)據(jù)分析中的意義和作用》、《大數(shù)據(jù)分析與Hadoop區(qū)別和聯(lián)系》。
 

　　祝一切順利，Hadoop開發(fā)愉快!
 

　　現(xiàn)在您已經(jīng)全面認(rèn)識(shí)了什么是大數(shù)據(jù)分析，請(qǐng)查看 AAA教育 的 大數(shù)據(jù)分析培訓(xùn)課程，該培訓(xùn)機(jī)構(gòu)是一家受信任的線上和線下學(xué)習(xí)培訓(xùn)機(jī)構(gòu)，其網(wǎng)絡(luò)遍布全球，擁有250,000多名滿意的學(xué)習(xí)者。AAA教育大數(shù)據(jù)分析Hadoop認(rèn)證培訓(xùn)課程使用零售，社交媒體，航空，旅游，金融領(lǐng)域的實(shí)時(shí)用例，幫助學(xué)習(xí)者成為HDFS，Yarn，MapReduce，Pig，Hive，HBase，Oozie，F(xiàn)lume和Sqoop的專家。