大數(shù)據(jù)分析培訓(xùn)課程大綱

1) 基本介紹

2) vm docker 對(duì)比

3) docker基本架構(gòu)介紹

4) unfs cgroup namespace

5) 進(jìn)程虛擬化 輕量級(jí)虛擬化

6) docker 安裝

7) docker 鏡像制作

8) docker 常用命令

9) docker 鏡像遷移

10) docker pipework【i.openvswitch】

11) docker weave

1) 虛擬化介紹，虛擬化適用場景等等

2) Qemu Libvirt & KVM

3) 安裝KVM, Qemu, Libvirt

4) QEMU-KVM: 安裝第1個(gè)能上網(wǎng)的虛擬機(jī)

5) Kvm虛擬機(jī) nat,網(wǎng)橋基本原理

6) kvm虛擬機(jī)克隆

7) kvm虛擬機(jī)vnc配置

8) kvm虛擬機(jī)擴(kuò)展磁盤空間

9) Kvm快照

10) Kvm 遷移

11) Java,python,c語言編程控制kvm

12) 構(gòu)建自己的虛擬云平臺(tái)

1) openstack介紹和模塊基本原理分析

2) openstack多節(jié)點(diǎn)安裝部署【a.采用centos6.x系統(tǒng)】

3) Keystone基本原理

4) glance

5) Cinder

6) Swift

7) Neutron

8) Openstack api 二次開發(fā)

1) 介紹Python以及特點(diǎn)

2) Python的安裝

3) Python基本操作（注釋、邏輯、字符串使用等）

4) Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典）

5) 使用Python進(jìn)行批量重命名小例子

6) Python常見內(nèi)建函數(shù)

7) 更多Python函數(shù)及使用常見技巧

8) 異常

9) Python函數(shù)的參數(shù)講解

10) Python模塊的導(dǎo)入

11) Python中的類與繼承

12) 網(wǎng)絡(luò)爬蟲案例

13) 數(shù)據(jù)庫連接，以及pip安裝模塊

14) Mongodb基礎(chǔ)入門

15) 講解如何連接mongodb

16) Python的機(jī)器學(xué)習(xí)案例

1) scala解釋器、變量、常用數(shù)據(jù)類型等

2) scala的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu)

3) scala的函數(shù)、默認(rèn)參數(shù)、變長參數(shù)等

4) scala的數(shù)組、變長數(shù)組、多維數(shù)組等

5) scala的映射、元組等操作

6) scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器等

7) scala的對(duì)象、單例對(duì)象、伴生對(duì)象、擴(kuò)展類、apply方法等

8) scala的包、引入、繼承等概念

9) scala的特質(zhì)

10) scala的操作符

11) scala的高階函數(shù)

12) scala的集合

13) scala數(shù)據(jù)庫連接

1) 1) Spark介紹

2) Spark應(yīng)用場景

3) Spark和Hadoop MR、Storm的比較和優(yōu)勢

4) RDD

5) Transformation

6) Action

7) Spark計(jì)算PageRank

8) Lineage

9) Spark模型簡介

10) Spark緩存策略和容錯(cuò)處理

11) 寬依賴與窄依賴

12) Spark配置講解

13) Spark集群搭建

14) 集群搭建常見問題解決

15) Spark原理核心組件和常用RDD

16) 數(shù)據(jù)本地性

17) 任務(wù)調(diào)度

18) DAGScheduler

19) TaskScheduler

20) Spark源碼解讀

21) 性能調(diào)優(yōu)

22) Spark和Hadoop2.x整合：Spark on Yarn原理

1) Spark Streaming：數(shù)據(jù)源和DStream

2) 無狀態(tài)transformation與有狀態(tài)transformation

3) Streaming Window的操作

4) sparksql 編程實(shí)戰(zhàn)

5) spark的多語言操作

6) spark新版本的新特性

1) 介紹

a) Spark MLlib組件介紹

b) 基本數(shù)據(jù)類型

2) 回歸算法

c) 廣義線性模型

d) 邏輯回歸

3) 分類算法

e) 樸素貝葉斯

f) 決策樹

g) 隨機(jī)森林

4) 第四章 推薦系統(tǒng)

5) 第五章 聚類

6) spark新版本的新特性

h) Kmeans

i) Sparse kmeans

j) Kmeans

k) Kmeans II

l) Streaming kmeans

m) Gaussian Mixture Model

a) 二分圖

b) 概述

c) 構(gòu)造圖

d) 屬性圖

e) PageRank

項(xiàng)目技術(shù)架構(gòu)體系：

a) 實(shí)時(shí)流處理 Kafka，Spark Streaming

b) 分布式運(yùn)算 Hadoop，Spark

c) 數(shù)據(jù)庫 Hbase，Redis

d) 機(jī)器學(xué)習(xí) Spark Mllib

e) 前臺(tái)web展示數(shù)據(jù) Struts2，echart

f) 分布式平臺(tái) Hadoop，Spark

g) 數(shù)據(jù)清洗 Hive

h) 數(shù)據(jù)分析 R RStudio

i) 推薦服務(wù) Dubbox

j) 規(guī)則過濾 Drools

k) 機(jī)器學(xué)習(xí) MLlib

1) kafka是什么

2) kafka體系結(jié)構(gòu)

3) kafka配置詳解

4) kafka的安裝

5) kafka的存儲(chǔ)策略

6) kafka分區(qū)特點(diǎn)

7) kafka的發(fā)布與訂閱

8) zookeeper協(xié)調(diào)管理

9) java編程操作kafka

10) scala編程操作kafka

11) flume 和kafka 的整合

12) Kafka 和storm 的整合

項(xiàng)目技術(shù)架構(gòu)體系：

1) Storm的基本概念

2) Storm的應(yīng)用場景

3) Storm和Hadoop的對(duì)比

4) Storm集群的安裝的linux環(huán)境準(zhǔn)備

5) zookeeper集群搭建

6) Storm集群搭建

7) Storm配置文件配置項(xiàng)講解

8) 集群搭建常見問題解決

9) Storm常用組件和編程API：Topology、 Spout、Bolt

10) Storm分組策略(stream groupings)

11) 使用Strom開發(fā)一個(gè)WordCount例子

12) Storm程序本地模式debug、Storm程序遠(yuǎn)程debug

13) Storm事物處理

14) Storm消息可靠性及容錯(cuò)原理

15) Storm結(jié)合消息隊(duì)列Kafka：消息隊(duì)列基本概念(Producer、Consumer、Topic、Broker等)、消息隊(duì)列Kafka使用場景、Storm結(jié)合Kafka編程API

16) Storm Trident概念

17) Trident state 原理

18) Trident開發(fā)實(shí)例

19) Storm DRPC(分布式遠(yuǎn)程調(diào)用)介紹

20) Storm DRPC實(shí)戰(zhàn)講解

21) Storm和Hadoop 2.x的整合：Storm on Yarn Storm開發(fā)實(shí)戰(zhàn)： Kafka Storm Hbase redis項(xiàng)目實(shí)戰(zhàn)，以及多個(gè)案例

項(xiàng)目技術(shù)架構(gòu)體系：Storm hbase kafka flume echarts

a) flume實(shí)時(shí)采集日志

b) kafka緩沖隊(duì)列

c) storm實(shí)時(shí)處理

d) Hbase dao存儲(chǔ)處理結(jié)果

e) 前端Web實(shí)時(shí)展示報(bào)表

1) R語言介紹，基本函數(shù)，數(shù)據(jù)類型

2) 線性回歸

3) 樸素貝葉斯聚類

4) 決策樹分類

5) k均值聚類

a) 離群點(diǎn)檢測

6) 關(guān)聯(lián)規(guī)則探索

7) 神經(jīng)網(wǎng)絡(luò)

1) 介紹為什么使用它,它的前景

a) 簡單介紹Mahout

b) 簡單介紹機(jī)器學(xué)習(xí)

c) 實(shí)例演示Mahout單機(jī)推薦程序

2) 配置安裝（hadoop2.x版本的）編譯安裝步驟說明

a) 命令行中測試運(yùn)行協(xié)同過濾概念

3) 推薦

a) 講解基于用戶的協(xié)同過濾

b) 講解基于物品的協(xié)同過濾

4) 分類

a) 分類概念

b) 分類的應(yīng)用及Mahout分類優(yōu)勢

c) 分類和聚類、推薦的區(qū)別

d) 分類工作原理

e) 分類中概念術(shù)語

f) 分類項(xiàng)目工作流

g) 如何定義預(yù)測變量

h) 線性分類器的介紹，及貝葉斯分類器

i) 決策樹分類器的介紹，及隨機(jī)森林分類器

j) 如何使用貝葉斯分類器和隨機(jī)森林分類器的代碼展示

5) 聚類

a) 聚類概念

b) 聚類步驟流程

c) 聚類中的距離測度

d) 講解K-means聚類

e) K-means聚類算法展示

f) 聚類其他算法

g) 介紹TF-IDF

h) 歸一化

i) 微博聚類案例

項(xiàng)目技術(shù)架構(gòu)體系：

a) 分布式平臺(tái) Hadoop，MapReduce

b) 數(shù)據(jù)采集 Flume

c) 數(shù)據(jù)清洗 ETL

d) 數(shù)據(jù)庫 Hbase，Redis

e) 機(jī)器學(xué)習(xí) Mahout