大數(shù)據(jù)分析用什么軟件

　　以前之所以沒(méi)有大數(shù)據(jù)分析近兩年才有，有一個(gè)很關(guān)鍵卻很容易被忽視的原因：現(xiàn)在是互聯(lián)網(wǎng)時(shí)代，以前不是，20年前網(wǎng)絡(luò)到底是什么很多人都不知道，哪怕有大量數(shù)據(jù)、如超過(guò)10tb的數(shù)據(jù)集放在你的手中，但也無(wú)法簡(jiǎn)單通過(guò)人力、紙筆做分析，甚至連一本500kb的書籍看完都要好幾個(gè)月，更何況是10tb的數(shù)據(jù)，等人力看完了早就過(guò)了對(duì)應(yīng)的時(shí)效性了。而隨著互聯(lián)網(wǎng)的高速發(fā)展，各種軟件、系統(tǒng)層出不窮，大數(shù)據(jù)分析也隨之而生。
 

　　那么，到底大數(shù)據(jù)分析用什么軟件?下面就由我來(lái)具體分析和介紹一下，希望對(duì)大家有所幫助。

　　1、hadoop，在談及hadoop的時(shí)候不少人會(huì)將它直接等同于數(shù)據(jù)分析，可見(jiàn)它有多重要。Hadoop乃是一個(gè)軟件框架，它能對(duì)大量數(shù)據(jù)進(jìn)行分布式處理，它可靠高效又可伸縮。具體來(lái)說(shuō)，它在設(shè)定時(shí)就已經(jīng)融入了一個(gè)想法“假設(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗”，因?yàn)樗删S護(hù)多個(gè)工作數(shù)據(jù)副本，就失敗的節(jié)點(diǎn)再次進(jìn)行二次分布。它同時(shí)還是可并行的方式，因?yàn)榭刹⑿兴蕴幚砥饋?lái)的速度更快。還有，hadoop也是可伸縮的，它能處理達(dá)到pb級(jí)數(shù)據(jù)。更重要的是，hadoop還有高的擴(kuò)展性，它能利用計(jì)算機(jī)的分配數(shù)據(jù)完成計(jì)算任務(wù)。

　　2、Hpcc，在1993年的時(shí)候美國(guó)提交了重大挑戰(zhàn)項(xiàng)目，它就被稱呼hpcc計(jì)劃，也叫做美國(guó)總統(tǒng)科學(xué)戰(zhàn)略項(xiàng)目，該項(xiàng)目包含了hpcs、asta、nren、brhr、iita等諸多部分，翻譯成中文分別是高性能計(jì)算機(jī)系統(tǒng)、先進(jìn)軟件技術(shù)與算法、國(guó)家科研與網(wǎng)絡(luò)教育、基本研究與人類資源、信息基礎(chǔ)結(jié)構(gòu)技術(shù)和應(yīng)用，而現(xiàn)在hpcc已經(jīng)不再單純代表著以上這些了，它還是一個(gè)可被用于大數(shù)據(jù)分析的軟件工具。

　　3、Storm，它乃是開源軟件，系分布式的、容錯(cuò)性強(qiáng)的計(jì)算系統(tǒng)，它的主要特色體現(xiàn)在：能用來(lái)快速處理十分龐大的數(shù)據(jù)量，而且它還支持不同編程語(yǔ)言，用起來(lái)感覺(jué)不錯(cuò)。Storm乃是由twitter開源來(lái)的，它的應(yīng)用領(lǐng)域極廣，包含實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、rpc、etl等等。

　　4、Apache drill，它乃是一種查詢軟件，主要的價(jià)值體現(xiàn)在：能用來(lái)尋找更有效快速查詢數(shù)據(jù)的方法。

　　關(guān)于大數(shù)據(jù)分析一些人會(huì)錯(cuò)誤的認(rèn)為，只要將以上軟件系統(tǒng)都get起來(lái)即可，其實(shí)不然大數(shù)據(jù)分析是一個(gè)跨學(xué)科崗位，除了要懂軟件外還得了解算法、統(tǒng)計(jì)學(xué)、概率學(xué)等等學(xué)科，學(xué)會(huì)軟件只是具備了基礎(chǔ)哦。