機(jī)器學(xué)習(xí)工程師與大數(shù)據(jù)分析師的區(qū)別與聯(lián)系

　　自2013年以來，隨著其受歡迎程度激增，大數(shù)據(jù)分析行業(yè)一直在飛速發(fā)展，但逐漸趨于融合為更具體的角色。不可避免地，這會(huì)導(dǎo)致其成長過程中的工作混亂和不一致。例如，看似有許多完全相同的角色或具有不同角色的相同標(biāo)題：
 

　　機(jī)器學(xué)習(xí)大數(shù)據(jù)分析師，大數(shù)據(jù)分析工程師，數(shù)據(jù)分析師/科學(xué)家，機(jī)器學(xué)習(xí)工程師，應(yīng)用科學(xué)家，機(jī)器學(xué)習(xí)科學(xué)家…
 

　　清單繼續(xù)。甚至對(duì)大數(shù)據(jù)分析專業(yè)人來說，招聘人員也向他們伸出援手，擔(dān)任大數(shù)據(jù)分析師，機(jī)器學(xué)習(xí)(ML)專家，數(shù)據(jù)工程師等職位。顯然，這個(gè)行業(yè)很困惑。差異如此之大的眾多原因之一是，公司對(duì)大數(shù)據(jù)分析的需求和用途截然不同。無論出于何種原因，看來大數(shù)據(jù)分析領(lǐng)域正在分支并合并到以下幾類：分析、軟件工程、數(shù)據(jù)工程和研究。無論類似的標(biāo)題怎么說，它們通常都屬于這些類別。這種專業(yè)化在負(fù)擔(dān)得起的大型科技公司中最為真實(shí)。
 

　　在機(jī)器學(xué)習(xí)與大數(shù)據(jù)分析的區(qū)別與聯(lián)系中，我們將首先研究大數(shù)據(jù)分析行業(yè)的整體趨勢(shì)，然后更深入地比較機(jī)器學(xué)習(xí)工程師和大數(shù)據(jù)分析師的區(qū)別與聯(lián)系。小編并不是要提供廣泛的歷史，而是要敘述作為大數(shù)據(jù)分析師在一線城市居住時(shí)的所見和經(jīng)歷。
 

　　大數(shù)據(jù)分析產(chǎn)業(yè)趨勢(shì)
 

　　在深入探討之前，請(qǐng)看一下我在招聘網(wǎng)站上找到的以下兩個(gè)職位描述。嘗試猜測(cè)這些描述的標(biāo)題。
 

機(jī)器學(xué)習(xí)工程師
 

大數(shù)據(jù)分析師
 

　　非常不同，對(duì)不對(duì)?令人驚訝的是，兩者都適合大數(shù)據(jù)分析師的職位。我并不是說一個(gè)比另一個(gè)更好。重點(diǎn)是看它們有何不同。
 

　　即使在工作中，人們也進(jìn)行了積極的討論，試圖弄清楚究竟是什么定義了大數(shù)據(jù)分析師。我見過有人將大數(shù)據(jù)分析師描述為計(jì)算機(jī)科學(xué)博士或新數(shù)據(jù)分析師。這是因?yàn)椴煌墓緦⑿g(shù)語“大數(shù)據(jù)分析師” 用于非常不同的職位。但是，我相信行業(yè)一直在學(xué)習(xí)變得更加具體和具有更加專業(yè)的作用，而不是將所有內(nèi)容都放入大數(shù)據(jù)分析的廣泛領(lǐng)域。
 

　　那么，大數(shù)據(jù)分析師可以暗示什么不同的角色?在很大程度上，我認(rèn)為他們是軟件工程師，數(shù)據(jù)分析師，數(shù)據(jù)工程師和應(yīng)用/研究科學(xué)家。我見過具有相同大數(shù)據(jù)分析師頭銜的朋友，但他們的角色是四個(gè)角色之一。在大數(shù)據(jù)分析的早期，一位大數(shù)據(jù)分析師可能已經(jīng)扮演了這四個(gè)角色。今天的職位變得越來越具體和專業(yè)。
 

　　大數(shù)據(jù)分析師趨勢(shì)
 

　　大數(shù)據(jù)分析師最基本的通用技能是編寫代碼的能力。這可能在五年后變得不那么真實(shí)了，那時(shí)會(huì)有更多的人的名片上標(biāo)有“大數(shù)據(jù)分析師”的頭銜。
 

　　正如文章所暗示的那樣，您今天沒有理由成為一名出色的大數(shù)據(jù)分析師。以前，用于分析大數(shù)據(jù)和討厭數(shù)據(jù)的工具和方法以前沒有像以前那樣易于訪問和用戶友好。這要求大數(shù)據(jù)分析師在其他技能之上必須具有相對(duì)較強(qiáng)的工程技能。但是用于ML和大數(shù)據(jù)分析的工具發(fā)展很快，并且比以往任何時(shí)候都更易于訪問，因此您只需幾行代碼就可以訪問最新(SOTA)模型。這使得將角色分離到分析或工程中變得更加容易?，F(xiàn)在，我們不必專注于學(xué)習(xí)所有的分析，工程和統(tǒng)計(jì)數(shù)據(jù)就可以成為大數(shù)據(jù)分析師，這與以前一樣。
 

　　例如，F(xiàn)acebook引領(lǐng)了這一趨勢(shì)，在該趨勢(shì)中，數(shù)據(jù)分析師的工作已經(jīng)發(fā)展成為數(shù)據(jù)科學(xué)家。這是自然過程，因?yàn)殡S著數(shù)據(jù)量的增加和更具挑戰(zhàn)性的數(shù)據(jù)問題，需要更多的技能和培訓(xùn)來進(jìn)行良好的分析。不僅是Facebook，還有其他許多公司，例如Apple和Airbnb，都在將分析/產(chǎn)品大數(shù)據(jù)分析師與ML大數(shù)據(jù)分析師區(qū)分開來。
 

　　公司規(guī)模如何影響角色
 

　　值得一提的是，專業(yè)化更多地出現(xiàn)在大型科技公司中。與各種規(guī)模的科技公司都需要的軟件工程師不同，并非所有這些公司都需要專門的研究科學(xué)家或ML工程師。擁有幾個(gè)大數(shù)據(jù)分析師可能就足夠了。因此，在較小的公司中，仍然有可能在這四個(gè)角色中都發(fā)揮作用的大數(shù)據(jù)分析師。
 

　　今天的經(jīng)驗(yàn)法則是，大公司(FANG)中的大數(shù)據(jù)分析師通常與高級(jí)分析師相似，而小公司中的大數(shù)據(jù)分析師與ML工程師更相似。這兩個(gè)功能都很重要，也很需要。展望未來，我將堅(jiān)持我的新定義，即大數(shù)據(jù)分析師暗指的是分析功能。
 

　　不同的大數(shù)據(jù)分析師以及如何選擇它們
 

　　DS的四個(gè)支柱
 

　　求職-選擇哪個(gè)標(biāo)題以及如何準(zhǔn)備?
 

　　如果您想進(jìn)入這一領(lǐng)域，無論是作為ML工程師還是大數(shù)據(jù)分析師，您都可能想知道應(yīng)該選擇哪個(gè)。讓我列出與ML相關(guān)的四個(gè)主要角色的簡化(和定型)描述，以幫助您闡明。盡管我還沒有親自擔(dān)任所有這些職務(wù)，但我已經(jīng)從各個(gè)領(lǐng)域的朋友那里學(xué)到了見識(shí)。我還在括號(hào)中提供了潛在的采訪內(nèi)容(將其視為四輪采訪)。
 

　　大數(shù)據(jù)分析師：您是否想分析大數(shù)據(jù)，設(shè)計(jì)實(shí)驗(yàn)和A / B測(cè)試，構(gòu)建簡單的機(jī)器學(xué)習(xí)以及統(tǒng)計(jì)模型(例如，使用sklearn)來推動(dòng)業(yè)務(wù)戰(zhàn)略?這個(gè)角色的結(jié)構(gòu)較少，不確定性更大，您將推動(dòng)項(xiàng)目的敘述。 (訪談：1個(gè)可能/統(tǒng)計(jì)，1個(gè)Leetcode，1個(gè)SQL，1 ML)。
 

　　ML工程師：您是否要在生產(chǎn)中構(gòu)建和部署最新的機(jī)器學(xué)習(xí)模型(例如Tensorflow，PyTorch)?您不僅關(guān)注構(gòu)建模型，還關(guān)注運(yùn)行和支持模型所需的軟件。您更多是軟件工程師(SWE)。 (訪談：3 Leetcode，1 ML)。
 

　　研究科學(xué)家：您是否擁有計(jì)算機(jī)科學(xué)博士學(xué)位，并且在ICLR中發(fā)表了幾本關(guān)于ML的出版物?您是否想突破機(jī)器學(xué)習(xí)研究的界限，并在被引用論文時(shí)感到興奮?這些是稀有品種，您已經(jīng)知道自己是誰。這些人大多數(shù)都去Google或Facebook。同樣，無需博士學(xué)位即可進(jìn)入該實(shí)驗(yàn)室，但很不幸。 (訪談：1 Leetcode，3 ML /研究)。
 

　　應(yīng)用科學(xué)家：您是ML工程師和研究科學(xué)家的混合體。您不僅關(guān)心代碼，還關(guān)心使用和推動(dòng)最新的(SOTA)機(jī)器學(xué)習(xí)模型。 (訪談：2 Leetcode，2 ML)。
 

　　顯然，這些描述并不詳盡。但是，當(dāng)我與朋友交談并查看許多工作說明時(shí)，我發(fā)現(xiàn)這些想法很普遍。如果不確定要應(yīng)用的角色，請(qǐng)參考以下提示以了解更多信息：
 

　　閱讀職位描述：老實(shí)說，頭銜并不重要。它可能被稱為同一位“大數(shù)據(jù)分析師”，但職位描述可能有很大不同。
 

　　招聘網(wǎng)站跟蹤：如果您不確定Apple的大數(shù)據(jù)分析師是什么樣的，只需查看一下Apple大數(shù)據(jù)分析師在招聘網(wǎng)站上擁有什么樣的背景。他們主要是CS博士嗎?本科?他們接受什么樣的培訓(xùn)?這將幫助您獲得更好的主意。
 

　　面試：如果您認(rèn)為自己的角色是技術(shù)角色，但尚未接受編碼方面的采訪，則可能不會(huì)獲得技術(shù)角色。您的面試內(nèi)容反映了工作性質(zhì)。
 

　　ML工程師與大數(shù)據(jù)分析師
 

　　好的，那很長。現(xiàn)在回到我們的主題。近年來，我開始聽到人們對(duì)大數(shù)據(jù)分析工作發(fā)表更多負(fù)面看法。造成這種情況的一些原因是，越來越多的大數(shù)據(jù)分析師工作似乎不再具有很酷的機(jī)器學(xué)習(xí)因素，而且似乎更容易獲得。也許是五年前，大多數(shù)職位描述至少都需要碩士學(xué)位才能獲得大數(shù)據(jù)分析師的職位，但現(xiàn)在情況不再如此。不管人們?yōu)槭裁凑J(rèn)為(至少是過去的)大數(shù)據(jù)分析已經(jīng)結(jié)束的原因，讓我們來看一些數(shù)據(jù)。
 

　　即使兩個(gè)職位的平均工資相似，您也可以看到大數(shù)據(jù)分析師在2015年和2016年的平均工資有所下降。也許這就是人們對(duì)大數(shù)據(jù)分析師的好日子已經(jīng)過去了。就數(shù)量而言，大數(shù)據(jù)分析比機(jī)器學(xué)習(xí)工程學(xué)要大得多，但是您可以看到機(jī)器學(xué)習(xí)工程師的成長更快，薪水更高。
 

　　幾個(gè)與ml相關(guān)的位置的摘要統(tǒng)計(jì)信息
 

　　我學(xué)到了一些有趣的見解：
 

　　總體而言，數(shù)據(jù)科學(xué)家比大數(shù)據(jù)分析師還多，但這在2019年會(huì)發(fā)生變化!這是否表明數(shù)據(jù)分析師被重新命名為大數(shù)據(jù)分析師?
 

　　機(jī)器學(xué)習(xí)工程師的薪水略高于大數(shù)據(jù)分析師，但該領(lǐng)域的機(jī)器學(xué)習(xí)工程師卻少得多。這是因?yàn)镸L工程師的正式頭銜通常只是軟件工程師。
 

　　研究科學(xué)家的平均水平令人驚訝地低。我發(fā)現(xiàn)這是因?yàn)閿?shù)據(jù)庫可以包括許多其他類型的研究科學(xué)家，而不僅僅是技術(shù)ML研究的科學(xué)家。因此，我為一個(gè)高科技公司提供了一張桌子，以減少這種噪音。正如預(yù)期的那樣，研究人員登上了微軟最高薪水的寶座。
 

　　數(shù)據(jù)工程師的基本工資為130萬美元，這讓我感到驚訝。這很瘋狂!也許您應(yīng)該考慮這個(gè)職業(yè)。
 

　　請(qǐng)記住，此數(shù)據(jù)集僅包含基本工資，股票通常在科技界扮演著重要角色。而且，它不能全面描繪就業(yè)市場(chǎng)。但是，考慮到我們?cè)诩夹g(shù)領(lǐng)域擁有多少外國工人，這應(yīng)該仍然是一個(gè)很好的代理。
 

　　根據(jù)這些數(shù)據(jù)，我不能說大數(shù)據(jù)分析行業(yè)是蕭條。它仍在增長，但可能會(huì)更加關(guān)注分析。從我的觀察來看，確實(shí)有更多的大數(shù)據(jù)分析工作需要更少的先決條件，但這并不是一件壞事。
 

　　結(jié)論
 

　　我寫這篇文章是因?yàn)槲易约簩?duì)行業(yè)中正在發(fā)生的所有變化感到困惑。而且，對(duì)于大數(shù)據(jù)分析，人們似乎有很多不同的看法。無論誰是對(duì)是誰，我希望您能看到趨勢(shì)并自己決定。
 

　　最后，不要選擇一個(gè)工作或行業(yè)，因?yàn)樗钠骄剿呋蛞驗(yàn)榱餍姓Z。您的頭銜是大數(shù)據(jù)分析師還是ML工程師還是數(shù)據(jù)科學(xué)家都沒有關(guān)系。有人說大數(shù)據(jù)分析師是工程師還是分析師都沒關(guān)系，因?yàn)閮烧叨际钦_的。
 

　　盡管可以輕松比較基于薪資的職位，但選擇自己喜歡并擅長的職位更為重要。關(guān)注您所做的實(shí)際工作，并確保它適合您。僅僅因?yàn)槠骄べY可能會(huì)更低，這并不一定意味著您實(shí)際上會(huì)獲得較少的收入。如您先前所見，我討論的所有角色的最高薪資都很高。