轉(zhuǎn)行大數(shù)據(jù)分析師后悔了

　　轉(zhuǎn)行這個詞匯，一直是職場上此起彼伏的一個熱門話題，相信很多朋友都想過或已經(jīng)經(jīng)歷過轉(zhuǎn)行。工作可謂是我們生存乃至生活的主要收入來源，誰都希望擁有一份高薪又穩(wěn)定的工作，以此來改善自己的生活和實現(xiàn)自己的大大小小的夢想!但又擔(dān)心轉(zhuǎn)行后的工作待遇達(dá)不到自己的預(yù)期，顧慮重重……

　　不少想進(jìn)入大數(shù)據(jù)分析行業(yè)的零基礎(chǔ)學(xué)員經(jīng)常會有這樣一些疑問：大數(shù)據(jù)分析零基礎(chǔ)應(yīng)該怎么學(xué)習(xí)?自己適合學(xué)習(xí)大數(shù)據(jù)分析嗎?人生，就是在不斷地做選擇，然后在這個選擇過程中成長，讓自己從一棵小樹苗變成參天大樹。就是我們每個對大數(shù)據(jù)充滿幻想終于下定決心行動的學(xué)員的選擇，我們給自己3個月的時間，想要在大數(shù)據(jù)分析這個領(lǐng)域汲取養(yǎng)分，讓自己壯大成長。

　　【明確方向】
 

　　通過國家的戰(zhàn)略規(guī)劃，看到BAT的大牛們都在大數(shù)據(jù)行業(yè)布局，新聞媒體追捧這大數(shù)據(jù)分析行業(yè)的項目和熱點，我想如果我還沒有能力獨立判斷的時候，跟著國家政策和互聯(lián)網(wǎng)大佬們的步調(diào)走，這應(yīng)該是錯不了的。
 

　　【付諸行動】
 

　　明確了方向之后，我就整裝待發(fā)，剛開始是在網(wǎng)絡(luò)上購買了很多的視頻教程，也買了很多書籍，但是最大的問題就在于，我不知道怎么入手，沒關(guān)系，有信心有耐心肯定能戰(zhàn)勝困難，我堅持了一個月，學(xué)習(xí)的節(jié)奏越來越亂，陸陸續(xù)續(xù)出現(xiàn)了很多的問題，沒人指導(dǎo)，請教了幾個業(yè)內(nèi)的朋友，但對方工作繁忙，問了幾次之后就不好意思了，自學(xué)陷入了死循環(huán)。
 

　　意識到我學(xué)習(xí)效率的低下，以及無人指導(dǎo)的問題想想未來的康莊大道，咬咬牙告訴自己，一定好好好學(xué)，不然就浪費太多時間最后還會是一無所獲。最后找到組織(AAA教育)一起學(xué)習(xí)進(jìn)步!
 

　　大數(shù)據(jù)分析零基礎(chǔ)學(xué)習(xí)路線，有信心能堅持學(xué)習(xí)的話，那就當(dāng)下開始行動吧!

一、大數(shù)據(jù)技術(shù)基礎(chǔ)
 

　　1、linux操作基礎(chǔ)

　　linux系統(tǒng)簡介與安裝

　　linux常用命令–文件操作

　　linux常用命令–用戶管理與權(quán)限

　　linux常用命令–系統(tǒng)管理

　　linux常用命令–免密登陸配置與網(wǎng)絡(luò)管理

　　linux上常用軟件安裝

　　linux本地yum源配置及yum軟件安裝

　　linux防火墻配置

　　linux高級文本處理命令cut、sed、awk

　　linux定時任務(wù)crontab
 

　　2、shell編程

　　shell編程–基本語法

　　shell編程–流程控制

　　shell編程–函數(shù)

　　shell編程–綜合案例–自動化部署腳本
 

　　3、內(nèi)存數(shù)據(jù)庫redis

　　redis和nosql簡介

　　redis客戶端連接

　　redis的string類型數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用-對象緩存

　　redis的list類型數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-任務(wù)調(diào)度隊列

　　redis的hash及set數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-購物車

　　redis的sortedset數(shù)據(jù)結(jié)構(gòu)操作及應(yīng)用案例-排行榜
 

　　4、布式協(xié)調(diào)服務(wù)zookeeper

　　zookeeper簡介及應(yīng)用場景

　　zookeeper集群安裝部署

　　zookeeper的數(shù)據(jù)節(jié)點與命令行操作

　　zookeeper的java客戶端基本操作及事件監(jiān)聽

　　zookeeper核心機(jī)制及數(shù)據(jù)節(jié)點

　　zookeeper應(yīng)用案例–分布式共享資源鎖

　　zookeeper應(yīng)用案例–服務(wù)器上下線動態(tài)感知

　　zookeeper的數(shù)據(jù)一致性原理及l(fā)eader選舉機(jī)制
 

　　5、java高級特性增強

　　Java多線程基本知識

　　Java同步關(guān)鍵詞詳解

　　java并發(fā)包線程池及在開源軟件中的應(yīng)用

　　Java并發(fā)包消息隊里及在開源軟件中的應(yīng)用

　　Java JMS技術(shù)

　　Java動態(tài)代理反射
 

　　6、輕量級RPC框架開發(fā)

　　RPC原理學(xué)習(xí)

　　Nio原理學(xué)習(xí)

　　Netty常用API學(xué)習(xí)

　　輕量級RPC框架需求分析及原理分析

　　輕量級RPC框架開發(fā)
 

二、離線計算系統(tǒng)
 

　　1、hadoop快速入門

　　hadoop背景介紹

　　分布式系統(tǒng)概述

　　離線數(shù)據(jù)分析流程介紹

　　集群搭建

　　集群使用初步
 

　　2、HDFS增強

　　HDFS的概念和特性

　　HDFS的shell(命令行客戶端)操作

　　HDFS的工作機(jī)制

　　NAMENODE的工作機(jī)制

　　java的api操作

　　案例1：開發(fā)shell采集腳本
 

　　3、MAPREDUCE詳解

　　自定義hadoop的RPC框架

　　Mapreduce編程規(guī)范及示例編寫

　　Mapreduce程序運行模式及debug方法

　　mapreduce程序運行模式的內(nèi)在機(jī)理

　　mapreduce運算框架的主體工作流程

　　自定義對象的序列化方法

　　MapReduce編程案例
 

　　4、MAPREDUCE增強

　　Mapreduce排序

　　自定義partitioner

　　Mapreduce的combiner

　　mapreduce工作機(jī)制詳解
 

　　5、MAPREDUCE實戰(zhàn)

　　maptask并行度機(jī)制-文件切片

　　maptask并行度設(shè)置

　　倒排索引

　　共同好友
 

　　6、federation介紹和hive使用

　　Hadoop的HA機(jī)制

　　HA集群的安裝部署

　　集群運維測試之Datanode動態(tài)上下線

　　集群運維測試之Namenode狀態(tài)切換管理

　　集群運維測試之?dāng)?shù)據(jù)塊的balance

　　HA下HDFS-API變化

　　hive簡介

　　hive架構(gòu)

　　hive安裝部署

　　hvie初使用
 

　　7、hive增強和flume介紹

　　HQL-DDL基本語法

　　HQL-DML基本語法

　　HIVE的join

　　HIVE 參數(shù)配置

　　HIVE 自定義函數(shù)和Transform

　　HIVE 執(zhí)行HQL的實例分析

　　HIVE最佳實踐注意點

　　HIVE優(yōu)化策略

　　HIVE實戰(zhàn)案例

　　Flume介紹

　　Flume的安裝部署

　　案例：采集目錄到HDFS

　　案例：采集文件到HDFS
 

三、流式計算
 

　　1、Storm從入門到精通

　　Storm是什么

　　Storm架構(gòu)分析

　　Storm架構(gòu)分析

　　Storm編程模型、Tuple源碼、并發(fā)度分析

　　Storm WordCount案例及常用Api分析

　　Storm集群部署實戰(zhàn)

　　Storm+Kafka+Redis業(yè)務(wù)指標(biāo)計算

　　Storm源碼下載編譯

　　Strom集群啟動及源碼分析

　　Storm任務(wù)提交及源碼分析

　　Storm數(shù)據(jù)發(fā)送流程分析

　　Storm通信機(jī)制分析

　　Storm消息容錯機(jī)制及源碼分析

　　Storm多stream項目分析

　　編寫自己的流式任務(wù)執(zhí)行框架
 

　　2、Storm上下游及架構(gòu)集成

　　消息隊列是什么

　　Kakfa核心組件

　　Kafka集群部署實戰(zhàn)及常用命令

　　Kafka配置文件梳理

　　Kakfa JavaApi學(xué)習(xí)

　　Kafka文件存儲機(jī)制分析

　　Redis基礎(chǔ)及單機(jī)環(huán)境部署

　　Redis數(shù)據(jù)結(jié)構(gòu)及典型案例

　　Flume快速入門

　　Flume+Kafka+Storm+Redis整合
 

四、內(nèi)存計算體系Spark
 

　　1、scala編程

　　scala編程介紹

　　scala相關(guān)軟件安裝

　　scala基礎(chǔ)語法

　　scala方法和函數(shù)

　　scala函數(shù)式編程特點

　　scala數(shù)組和集合

　　scala編程練習(xí)(單機(jī)版WordCount)

　　scala面向?qū)ο?/p>

　　scala模式匹配

　　actor編程介紹

　　option和偏函數(shù)

　　實戰(zhàn)：actor的并發(fā)WordCount

　　柯里化

　　隱式轉(zhuǎn)換
 

　　2、AKKA與RPC

　　Akka并發(fā)編程框架

　　實戰(zhàn)：RPC編程實戰(zhàn)
 

　　3、Spark快速入門

　　spark介紹

　　spark環(huán)境搭建

　　RDD簡介

　　RDD的轉(zhuǎn)換和動作

　　實戰(zhàn)：RDD綜合練習(xí)

　　RDD高級算子

　　自定義Partitioner

　　實戰(zhàn)：網(wǎng)站訪問次數(shù)

　　廣播變量

　　實戰(zhàn)：根據(jù)IP計算歸屬地

　　自定義排序

　　利用JDBC RDD實現(xiàn)數(shù)據(jù)導(dǎo)入導(dǎo)出

　　WorldCount執(zhí)行流程詳解
 

　　4、RDD詳解

　　RDD依賴關(guān)系

　　RDD緩存機(jī)制

　　RDD的Checkpoint檢查點機(jī)制

　　Spark任務(wù)執(zhí)行過程分析

　　RDD的Stage劃分
 

　　5、Spark-Sql應(yīng)用

　　Spark-SQL

　　Spark結(jié)合Hive

　　DataFrame

　　實戰(zhàn)：Spark-SQL和DataFrame案例
 

　　6、SparkStreaming應(yīng)用實戰(zhàn)

　　Spark-Streaming簡介

　　Spark-Streaming編程

　　實戰(zhàn)：StageFulWordCount

　　Flume結(jié)合Spark Streaming

　　Kafka結(jié)合Spark Streaming

　　窗口函數(shù)

　　ELK技術(shù)棧介紹

　　ElasticSearch安裝和使用

　　Storm架構(gòu)分析

　　Storm編程模型、Tuple源碼、并發(fā)度分析

　　Storm WordCount案例及常用Api分析
 

　　7、Spark核心源碼解析

　　Spark源碼編譯

　　Spark遠(yuǎn)程debug

　　Spark任務(wù)提交行流程源碼分析

　　Spark通信流程源碼分析

　　SparkContext創(chuàng)建過程源碼分析

　　DriverActor和ClientActor通信過程源碼分析

　　Worker啟動Executor過程源碼分析

　　Executor向DriverActor注冊過程源碼分析

　　Executor向Driver注冊過程源碼分析

　　DAGScheduler和TaskScheduler源碼分析

　　Shuffle過程源碼分析

　　Task執(zhí)行過程源碼分析
 

五、機(jī)器學(xué)習(xí)算法
 

　　1、python及numpy庫

　　機(jī)器學(xué)習(xí)簡介

　　機(jī)器學(xué)習(xí)與python

　　python語言–快速入門

　　python語言–數(shù)據(jù)類型詳解

　　python語言–流程控制語句

　　python語言–函數(shù)使用

　　python語言–模塊和包

　　phthon語言–面向?qū)ο?/p>

　　python機(jī)器學(xué)習(xí)算法庫–numpy

　　機(jī)器學(xué)習(xí)必備數(shù)學(xué)知識–概率論
 

　　2、常用算法實現(xiàn)

　　knn分類算法–算法原理

　　knn分類算法–代碼實現(xiàn)

　　knn分類算法–手寫字識別案例

　　lineage回歸分類算法–算法原理

　　lineage回歸分類算法–算法實現(xiàn)及demo

　　樸素貝葉斯分類算法–算法原理

　　樸素貝葉斯分類算法–算法實現(xiàn)

　　樸素貝葉斯分類算法–垃圾郵件識別應(yīng)用案例

　　kmeans聚類算法–算法原理

　　kmeans聚類算法–算法實現(xiàn)

　　kmeans聚類算法–地理位置聚類應(yīng)用

　　決策樹分類算法–算法原理

　　決策樹分類算法–算法實現(xiàn)

　　時下的大數(shù)據(jù)分析時代與人工智能熱潮，相信有許多對大數(shù)據(jù)分析師非常感興趣、躍躍欲試想著轉(zhuǎn)行的朋友，但面向整個社會，最不缺的其實就是人才，對于是否轉(zhuǎn)行大數(shù)據(jù)分析行列，對于能否勇敢一次跳出自己的舒適圈，不少人還是躊躇滿志啊!畢竟好多決定，一旦做出了就很難再回頭了。不過如果你已經(jīng)轉(zhuǎn)行到大數(shù)據(jù)分析領(lǐng)域，就不要后悔，做到如何脫穎而出才是關(guān)鍵。因此本文給出一些建議，針對想要轉(zhuǎn)行大數(shù)據(jù)分析行列且是零基礎(chǔ)轉(zhuǎn)行的小伙伴們，希望對你們有所裨益，也希望你們將來學(xué)有所成，不后悔，更不灰心!