大數(shù)據(jù)分析技術(shù)有哪些

　　您是否想更好地了解傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)之間的區(qū)別，在哪里可以找到數(shù)據(jù)以及可以使用哪些技術(shù)來(lái)處理數(shù)據(jù)?
 

　　這些是處理數(shù)據(jù)時(shí)必須采取的第一步，因此這是一個(gè)不錯(cuò)的起點(diǎn)，特別是如果您正在考慮從事數(shù)據(jù)科學(xué)職業(yè)!
 

　　“數(shù)據(jù)”是一個(gè)廣義術(shù)語(yǔ)，可以指“原始事實(shí)”，“處理后的數(shù)據(jù)”或“信息”。為了確保我們?cè)谕豁?yè)面上，讓我們?cè)谶M(jìn)入細(xì)節(jié)之前將它們分開(kāi)。
 

　　我們收集原始數(shù)據(jù)，然后進(jìn)行處理以獲得有意義的信息。
 

　　好吧，將它們分開(kāi)很容易!
 

　　現(xiàn)在，讓我們進(jìn)入細(xì)節(jié)!

 

　　原始數(shù)據(jù)(也稱(chēng)為“ 原始 事實(shí)”或“ 原始 數(shù)據(jù)”)是您已累積并存儲(chǔ)在服務(wù)器上但未被觸及的數(shù)據(jù)。這意味著您無(wú)法立即對(duì)其進(jìn)行分析。我們將原始數(shù)據(jù)的收集稱(chēng)為“數(shù)據(jù)收集”，這是我們要做的第一件事。
 

　　什么是原始數(shù)據(jù)?
 

　　我們可以將數(shù)據(jù)視為傳統(tǒng)數(shù)據(jù)或大數(shù)據(jù)。如果您不熟悉此想法，則可以想象包含分類(lèi)和數(shù)字?jǐn)?shù)據(jù)的表格形式的傳統(tǒng)數(shù)據(jù)。該數(shù)據(jù)被結(jié)構(gòu)化并存儲(chǔ)在可以從一臺(tái)計(jì)算機(jī)進(jìn)行管理的數(shù)據(jù)庫(kù)中。收集傳統(tǒng)數(shù)據(jù)的一種方法是對(duì)人進(jìn)行調(diào)查。要求他們以1到10的等級(jí)來(lái)評(píng)估他們對(duì)產(chǎn)品或體驗(yàn)的滿意程度。
 

　　傳統(tǒng)數(shù)據(jù)是大多數(shù)人習(xí)慣的數(shù)據(jù)。例如，“訂單管理”可幫助您跟蹤銷(xiāo)售，購(gòu)買(mǎi)，電子商務(wù)和工作訂單。
 

　　但是，大數(shù)據(jù)則是另外一回事了。
 

　　顧名思義，“大數(shù)據(jù)”是為超大數(shù)據(jù)保留的術(shù)語(yǔ)。
 

　　您還會(huì)經(jīng)?？吹剿宰帜?ldquo; V”為特征。如“大數(shù)據(jù)的3V ”中所述。有時(shí)我們可以擁有5、7甚至11個(gè)“ V”的大數(shù)據(jù)。它們可能包括– 您對(duì)大數(shù)據(jù)的愿景，大數(shù)據(jù)的價(jià)值，您使用的可視化工具或大數(shù)據(jù)一致性中的可變性。等等…
 

　　但是，以下是您必須記住的最重要的標(biāo)準(zhǔn)：
 

　　體積
 

　　大數(shù)據(jù)需要大量的存儲(chǔ)空間，通常在許多計(jì)算機(jī)之間分布。其大小以TB，PB甚至EB為單位
 

　　品種
 

　　在這里，我們不僅在談?wù)摂?shù)字和文字。大數(shù)據(jù)通常意味著處理圖像，音頻文件，移動(dòng)數(shù)據(jù)等。
 

　　速度
 

　　在處理大數(shù)據(jù)時(shí)，目標(biāo)是盡可能快地從中提取模式。我們?cè)谀睦镉龅酱髷?shù)據(jù)?
 

　　答案是：在越來(lái)越多的行業(yè)和公司中。這是一些著名的例子。
 

　　作為最大的在線社區(qū)之一，“ Facebook”會(huì)跟蹤其用戶(hù)的姓名，個(gè)人數(shù)據(jù)，照片，視頻，錄制的消息等。這意味著他們的數(shù)據(jù)種類(lèi)繁多。全世界有20億用戶(hù)，其服務(wù)器上存儲(chǔ)的數(shù)據(jù)量巨大。
 

　　讓我們以“金融交易數(shù)據(jù)”為例。
 

　　當(dāng)我們每5秒記錄一次股價(jià)時(shí)會(huì)發(fā)生什么?還是每一秒鐘?我們得到了一個(gè)龐大的數(shù)據(jù)集，需要大量?jī)?nèi)存，磁盤(pán)空間和各種技術(shù)來(lái)從中提取有意義的信息。
 

　　傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)都將為您提高客戶(hù)滿意度奠定堅(jiān)實(shí)的基礎(chǔ)。但是這些數(shù)據(jù)會(huì)有問(wèn)題，因此在進(jìn)行其他任何操作之前，您都必須對(duì)其進(jìn)行處理。
 

　　如何處理原始數(shù)據(jù)?
 

　　讓我們將原始數(shù)據(jù)變成美麗的東西!
 

　　在收集到足夠的原始 數(shù)據(jù)之后，要做的第一件事就是我們所謂的“數(shù)據(jù)預(yù)處理 ”。這是一組操作，會(huì)將原始數(shù)據(jù)轉(zhuǎn)換為更易理解且對(duì)進(jìn)一步處理有用的格式。
 

　　我想這一步會(huì)擠在原始 數(shù)據(jù)和處理之間!也許我們應(yīng)該在這里添加一個(gè)部分...
 

　　數(shù)據(jù)預(yù)處理
 

　　那么，“數(shù)據(jù)預(yù)處理”的目的是什么?
 

　　它試圖解決數(shù)據(jù)收集中可能出現(xiàn)的問(wèn)題。
 

　　例如，在您收集的某些客戶(hù)數(shù)據(jù)中，您可能有一個(gè)注冊(cè)年齡為932歲或“英國(guó)”為名字的人。在進(jìn)行任何分析之前，您需要將此數(shù)據(jù)標(biāo)記為無(wú)效或更正。這就是數(shù)據(jù)預(yù)處理的全部?jī)?nèi)容!
 

　　讓我們研究一下在預(yù)處理傳統(tǒng)和大原始數(shù)據(jù)時(shí)應(yīng)用的技術(shù)嗎?
 

　　類(lèi)標(biāo)簽
 

　　這涉及將數(shù)據(jù)點(diǎn)標(biāo)記為正確的數(shù)據(jù)類(lèi)型，換句話說(shuō)，按類(lèi)別排列數(shù)據(jù)。
 

　　我們將傳統(tǒng)數(shù)據(jù)分為兩類(lèi)：
 

　　一類(lèi)是“數(shù)字” –如果您要存儲(chǔ)每天售出的商品數(shù)量，那么您就在跟蹤數(shù)值。這些是您可以操縱的數(shù)字。例如，您可以計(jì)算出每天或每月銷(xiāo)售的平均商品數(shù)量。
 

　　另一個(gè)標(biāo)簽是“分類(lèi)的” –在這里您正在處理數(shù)學(xué)無(wú)法處理的信息。例如，一個(gè)人的職業(yè)。請(qǐng)記住，數(shù)據(jù)點(diǎn)仍然可以是數(shù)字，而不是數(shù)字。他們的出生日期是一個(gè)數(shù)字，您不能直接操縱它來(lái)給您更多的信息。
 

　　考慮基本的客戶(hù)數(shù)據(jù)。*(使用的數(shù)據(jù)集來(lái)自我們的 SQL課程)
 

　　我們將使用包含有關(guān)客戶(hù)的文本信息的此表來(lái)給出數(shù)字變量和分類(lèi)變量之間差異的清晰示例。
 

　　注意第一列，它顯示了分配給不同客戶(hù)的ID。您無(wú)法操縱這些數(shù)字。“平均” ID不會(huì)給您任何有用的信息。這意味著，即使它們是數(shù)字，它們也沒(méi)有數(shù)值，并且是分類(lèi)數(shù)據(jù)。
 

　　現(xiàn)在，專(zhuān)注于最后一列。這顯示了客戶(hù)提出投訴的次數(shù)。您可以操縱這些數(shù)字。將它們加在一起以給出總數(shù)的投訴是有用的信息，因此，它們是數(shù)字?jǐn)?shù)據(jù)。
 

　　我們可以查看的另一個(gè)示例是每日歷史股價(jià)數(shù)據(jù)。
 

　　*這是我們?cè)谡n程Python課程中使用的內(nèi)容。
 

　　您在此處看到的數(shù)據(jù)集中，有一列包含觀察日期，被視為分類(lèi)數(shù)據(jù)。還有一列包含股票價(jià)格的數(shù)字?jǐn)?shù)據(jù)。
 

　　當(dāng)您使用大數(shù)據(jù)時(shí)，事情會(huì)變得更加復(fù)雜。除了“數(shù)字”和“分類(lèi)”數(shù)據(jù)之外，您還有更多的選擇，例如：
 

　　文字?jǐn)?shù)據(jù)

　　數(shù)字圖像數(shù)據(jù)

　　數(shù)字視頻數(shù)據(jù)

　　和數(shù)字音頻數(shù)據(jù)

　　數(shù)據(jù)清理
 

　　也稱(chēng)為“ 數(shù)據(jù)清理” 或“ 數(shù)據(jù)清理”。
 

　　數(shù)據(jù)清理的目的是處理不一致的數(shù)據(jù)。這可以有多種形式。假設(shè)您收集了包含美國(guó)各州的數(shù)據(jù)集，并且四分之一的名稱(chēng)拼寫(xiě)錯(cuò)誤。在這種情況下，您必須執(zhí)行某些技術(shù)來(lái)糾正這些錯(cuò)誤。您必須清除數(shù)據(jù);線索就是名字!
 

　　大數(shù)據(jù)具有更多數(shù)據(jù)類(lèi)型，并且它們具有更廣泛的數(shù)據(jù)清理方法。有一些技術(shù)可以驗(yàn)證數(shù)字圖像是否已準(zhǔn)備好進(jìn)行處理。并且存在一些特定方法來(lái)確保文件的音頻 質(zhì)量足以繼續(xù)進(jìn)行。
 

　　缺失值
 

　　“ 缺失的 價(jià)值觀”是您必須處理的其他事情。并非每個(gè)客戶(hù)都會(huì)為您提供所需的所有數(shù)據(jù)。經(jīng)常會(huì)發(fā)生的是，客戶(hù)會(huì)給您他的名字和職業(yè)，而不是他的年齡。在這種情況下您能做什么?
 

　　您是否應(yīng)該忽略客戶(hù)的整個(gè)記錄???還是您可以輸入其余客戶(hù)的平均年齡?
 

　　無(wú)論哪種最佳解決方案，都必須先清理數(shù)據(jù)并處理缺失值，然后才能進(jìn)一步處理數(shù)據(jù)。
 

　　處理傳統(tǒng)數(shù)據(jù)的技術(shù)
 

　　讓我們進(jìn)入處理傳統(tǒng)數(shù)據(jù)的兩種常用技術(shù)。
 

　　平衡
 

　　想象一下，您已經(jīng)編制了一份調(diào)查表，以收集有關(guān)男女購(gòu)物習(xí)慣的數(shù)據(jù)。假設(shè)您想確定誰(shuí)在周末花了更多錢(qián)。但是，當(dāng)您完成數(shù)據(jù)收集后，您會(huì)發(fā)現(xiàn)80%的受訪者是女性，而只有20%是男性。

 

　　在這種情況下，您發(fā)現(xiàn)的趨勢(shì)將更趨向于女性。解決此問(wèn)題的最佳方法是應(yīng)用平衡技術(shù)。例如，從每個(gè)組中抽取相等數(shù)量的受訪者，則該比率為50/50。
 

　　數(shù)據(jù)改組
 

　　從數(shù)據(jù)集中對(duì)觀察結(jié)果進(jìn)行混洗就像對(duì)一副紙牌進(jìn)行混洗一樣。這將確保您的數(shù)據(jù)集不會(huì)出現(xiàn)由于有問(wèn)題的數(shù)據(jù)收集而導(dǎo)致的有害模式。數(shù)據(jù)改組是一種改善預(yù)測(cè)性能并有助于避免產(chǎn)生誤導(dǎo)性結(jié)果的技術(shù)。
 

　　但是如何避免產(chǎn)生錯(cuò)覺(jué)呢?
 

　　好吧，這是一個(gè)詳細(xì)的過(guò)程，但概括地說(shuō)，混洗是一種使數(shù)據(jù)隨機(jī)化的方法。如果我從數(shù)據(jù)集中獲取前100個(gè)觀察值，則不是隨機(jī)樣本。最高的觀察值將首先被提取。如果我對(duì)數(shù)據(jù)進(jìn)行混洗，那么可以肯定的是，當(dāng)我連續(xù)輸入100個(gè)條目時(shí)，它們將是隨機(jī)的(并且很可能具有代表性)。
 

　　處理大數(shù)據(jù)的技術(shù)
 

　　讓我們看一下處理大數(shù)據(jù)的一些特定于案例的技術(shù)。
 

　　文本數(shù)據(jù)挖掘
 

　　想想以數(shù)字格式存儲(chǔ)的大量文本。嗯，正在進(jìn)行許多旨在從數(shù)字資源中提取特定文本信息的科學(xué)項(xiàng)目。例如，您可能有一個(gè)數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)存儲(chǔ)了來(lái)自學(xué)術(shù)論文的有關(guān)“營(yíng)銷(xiāo)支出”(您的研究主要主題)的信息。如果源的數(shù)量和數(shù)據(jù)庫(kù)中存儲(chǔ)的文本量足夠少，則可以輕松找到所需的信息。通常，盡管數(shù)據(jù)巨大。它可能包含來(lái)自學(xué)術(shù)論文，博客文章，在線平臺(tái)，私有excel文件等的信息。
 

　　這意味著您將需要從許多來(lái)源中提取“營(yíng)銷(xiāo)支出”信息。換句話說(shuō)，就是“大數(shù)據(jù)”。
 

　　這不是一件容易的事，這導(dǎo)致學(xué)者和從業(yè)人員開(kāi)發(fā)出執(zhí)行“文本數(shù)據(jù)挖掘”的方法。
 

　　數(shù)據(jù)屏蔽
 

　　如果您想維持可靠的業(yè)務(wù)或政府活動(dòng)，則必須保留機(jī)密信息。在線共享個(gè)人詳細(xì)信息時(shí)，您必須對(duì)信息應(yīng)用一些“數(shù)據(jù)屏蔽”技術(shù)，以便您可以在不損害參與者隱私的情況下進(jìn)行分析。
 

　　像數(shù)據(jù)改組一樣，“數(shù)據(jù)屏蔽”可能很復(fù)雜。它用隨機(jī)和假數(shù)據(jù)隱藏原始數(shù)據(jù)，并允許您進(jìn)行分析并將所有機(jī)密信息保存在安全的地方。將數(shù)據(jù)屏蔽應(yīng)用于大數(shù)據(jù)的一個(gè)示例是通過(guò)“機(jī)密性保留數(shù)據(jù)挖掘”技術(shù)。
 

　　完成數(shù)據(jù)處理后，您將獲得所需的寶貴和有意義的信息。


　　我希望我們對(duì)傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)之間的差異以及我們?nèi)绾翁幚硭鼈冇兴私狻?br />