淺析大數(shù)據(jù)分析的存儲架構(gòu)

　　業(yè)內(nèi)大數(shù)據(jù)專家預(yù)測，為大數(shù)據(jù)分析，人工智能，機器學(xué)習(xí)和物聯(lián)網(wǎng)改造存儲架構(gòu)將是2019年重點關(guān)注的領(lǐng)域。見《剖析大數(shù)據(jù)分析就業(yè)前景》
 

　　企業(yè)IT組織將專注于更好的方法來分析，使用和管理他們傾倒到數(shù)據(jù)湖中的所有信息。他們的工作將包括借助越來越多的旨在集成，設(shè)計和編排數(shù)據(jù)的工具來調(diào)整大數(shù)據(jù)的存儲體系結(jié)構(gòu)，見、《大數(shù)據(jù)分析方法》《淺析大數(shù)據(jù)分析技術(shù)》。
 

　　您可以在下面找到有關(guān)2019年預(yù)測的樣本，這些預(yù)測重點關(guān)注大數(shù)據(jù)的存儲體系結(jié)構(gòu)，存儲系統(tǒng)和數(shù)據(jù)管理，安全性以及其他一般存儲趨勢。你可以找到更多的2019預(yù)言專注于云存儲位置以及閃光和新興的存儲技術(shù)在這里。
 

一、數(shù)據(jù)湖成為“沼澤”
 

　　數(shù)據(jù)湖很快變成了數(shù)據(jù)沼澤。它最終變成了存儲大量數(shù)據(jù)的著陸區(qū)，實際上并沒有多少人使用該數(shù)據(jù)湖內(nèi)部的數(shù)據(jù)集。預(yù)計將重點部署一個數(shù)據(jù)中心，該數(shù)據(jù)中心將多個孤島合并到一個具有高并發(fā)性，高并行性和與橫向擴展能力成線性關(guān)系的基于閃存的通用平臺中。新的大規(guī)模以數(shù)據(jù)為中心的架構(gòu)將振興大數(shù)據(jù)。
 

　　很多數(shù)據(jù)甚至都沒有被查看或處理。到目前為止，人們一直在將其吸收到數(shù)據(jù)庫中或?qū)⑵滢D(zhuǎn)儲到數(shù)據(jù)湖中。但是他們意識到必須集成，清理，豐富和設(shè)計數(shù)據(jù)才能使其變得真正有用??。今年是時候了。云和私有部門中越來越多的工具可用，人們將開始使用它們。對象存儲能夠自定義豐富元數(shù)據(jù)的功能對于智能集成數(shù)據(jù)將非常重要。流程在那里。那里有開放的API。所有這些事情正在共同努力，以使用戶對其存儲和數(shù)據(jù)更加智能。這不僅涉及保護，復(fù)制，保護和歸檔數(shù)據(jù)。它將更多地涉及數(shù)據(jù)對業(yè)務(wù)的意義。
 

　　人們擁有大量文件數(shù)據(jù)。它處于分解的基礎(chǔ)架構(gòu)中。找到所有這些數(shù)據(jù)已成為一個真正的問題。人們認(rèn)為元數(shù)據(jù)是解決問題的一種方法，但是理想的元數(shù)據(jù)解決方案尚未浮出水面。
 

二、調(diào)整大數(shù)據(jù)的存儲架構(gòu)
 

　　邊緣計算是IT擴展最熱門的領(lǐng)域之一，其重點是處理和聯(lián)網(wǎng)。隨著部署這些邊緣解決方案的人員開始了解托管存儲的需求，這種情況將在2019年發(fā)生變化。畢竟，邊緣只是一個微型數(shù)據(jù)中心。隨著需要大量數(shù)據(jù)的AI應(yīng)用程序部署到邊緣架構(gòu)中，以及隨著5G網(wǎng)絡(luò)在2019年開始認(rèn)真部署，這種情況將加速發(fā)展。這一領(lǐng)域的重要參與者必須在2019年擁有存儲解決方案。
 

　　在2019年，企業(yè)數(shù)據(jù)存儲的重點將從核心云擴展到邊緣，以支持傳統(tǒng)和新興工作負(fù)載，如IoT，人工智能，深度學(xué)習(xí)，機器學(xué)習(xí)和其他分析。邊緣存儲還意味著更多基于非易失性存儲器(NVM)SSD的技術(shù)，包括四層NAND閃存，以及更多存儲類存儲器(SCM)?？赡懿捎玫姆椒ㄒ虿煌腎T組織而異。有些人會擴展他們所做的事情。其他人將開始尋找或進(jìn)行概念驗證測試。另外，請注意AWS，Microsoft，Red Hat和VMware等擴展其邊緣存儲解決方案和系統(tǒng)。
 

　　邊緣的無線，網(wǎng)絡(luò)，存儲和計算系統(tǒng)的交叉將加速新數(shù)據(jù)中心架構(gòu)的創(chuàng)新和部署?？山M合基礎(chǔ)架構(gòu)和基于開放標(biāo)準(zhǔn)的結(jié)構(gòu)連接存儲在內(nèi)的新技術(shù)以及針對AI和機器學(xué)習(xí)工作負(fù)載量身定制的計算架構(gòu)將取代通用系統(tǒng)，因為更強大的端點設(shè)備推動了對分布式數(shù)據(jù)基礎(chǔ)架構(gòu)的新需求。
 

　　現(xiàn)在正處于架構(gòu)組件在數(shù)據(jù)中心之間如何相互關(guān)聯(lián)的范式轉(zhuǎn)變中。存儲和內(nèi)存正在合并;計算和內(nèi)存正在合并;計算和存儲正在合并。同時，不到五年前，網(wǎng)絡(luò)和互連的速度已經(jīng)被認(rèn)為是純粹的科幻小說。在2019年，我希望看到初創(chuàng)公司進(jìn)行一些非常有趣的科學(xué)實驗，這些實驗希望將原理圖分解為新的有趣的新包裝。例如，我們已經(jīng)開始看到存儲和計算的結(jié)合，稱為計算存儲，存儲和網(wǎng)絡(luò)以及“可組合”架構(gòu)變得更加現(xiàn)實。一旦您想到了開箱即用的地方，就會有新穎有趣的方式來在數(shù)據(jù)中心周圍轉(zhuǎn)移存儲功能。雖然2019年將沒有現(xiàn)成的解決方案，但您可以預(yù)期2020年或2021年將有很多突破。
 

三、存儲管理趨勢
 

　　閃存存儲：使用的存儲系統(tǒng)中的AI會在2019年該開花結(jié)果正在采取所有的IBM和戴爾等人收集有關(guān)他們的存儲系統(tǒng)中的數(shù)據(jù)的優(yōu)勢，珩磨分析，以便能夠在問題影響客戶之前就發(fā)現(xiàn)問題，并以非常消耗性的方式將信息提供給客戶。在2017年和2018年，對于所有供應(yīng)商而言，這還為時過早-看起來更簡單的事情例如配置不正確或此端口未正確連接?，F(xiàn)在，隨著我們的繼續(xù)，您將開始看到有關(guān)偶爾發(fā)生的一些棘手問題的更多有用信息，例如性能和擁塞。
 

　　將冷數(shù)據(jù)和冷數(shù)據(jù)從高性能存儲無縫遷移到云存儲到對象存儲再到文件存儲的能力-無需重新水化即可訪問它-將成為這方面的賭注很多存儲廠商的一年。換句話說，將來不會是分層存儲管理(HSM)類型的分層。您無需將數(shù)據(jù)帶回即可讀取或更改。
 

　　存儲與超融合之間的界線越來越模糊。如今，過去與存儲周圍的客戶進(jìn)行的對話最終變成了關(guān)于超融合的對話。人們開始看到經(jīng)濟上的好處，即不必獨立管理計算和存儲，而是擁有一種超融合的方式來將計算，存儲和網(wǎng)絡(luò)作為企業(yè)中的一個實體進(jìn)行管理。
 

　　存儲管理正在走向十字路口，不同的管理風(fēng)格開始交叉，包括存儲管理計劃規(guī)范(SMI-S)，NVM Express管理計劃(NVMe-MI)，Redfish，Swordfish和一些供應(yīng)商-專有的。
 

四、專注于存儲安全
 

　　歐洲，亞洲和北美出現(xiàn)的許多數(shù)據(jù)合規(guī)性法規(guī)將最終以開放和暴露最終用戶的方式實施，遠(yuǎn)遠(yuǎn)超出了他們的保護范圍。隨著物聯(lián)網(wǎng)隱私成為要求更多法規(guī)和更高“安全性”的警鐘，存儲公司可能會束手無策。物聯(lián)網(wǎng)是數(shù)據(jù)安全和隱私的噩夢。