南京大數據工程師

萬和大數據課程體系

課程設置無縫對接企業用人需求，萬和四個月，勝讀四年書

大數據基礎

大數據基礎

1.什么是大數據？-大數據概念； 2.大數據主要分類類型； 3.大數據和普通數據的區別；

大數據現狀

1.現有企業應用場景； 2.大數據生態圈介紹；

群組討論

1."自我定義的大數據"-群組討論； 2.學員技能摸底，情況歸檔；

Linux基礎

Linux基本命令解析

1.熟悉Linux歷史背景； 2.了解Linux基本命令；

虛擬機-Centos安裝

1.安裝虛擬機； 2.安裝Mvn，Jdk等工具

Zookeeper

Zookeeper熟悉和用途綜述

1.**okeeper介紹 2.**okeeper基礎知識 3.體系結構 4.數據模型

Zookeeper環境搭建

1.集群搭建和測試 2.命令行客戶端操作 3.**at

Zookeeper開發

1.**tches、Node詳解 2.*PI介紹 3.**va Client開發 4.實戰內容（現場實驗環節）

Zookeeper集群搭建、 命令行Client操作

1.**okeeper 節點類型與體系結構 2.**okeeper Watch 3.**okeeper 與 HBase 的關系 4.**okeeper 更新Server 實例實現 5.**okeeper 分布式鎖

Hbase數據庫

Hbase熟悉和用途綜述

1.**ase介紹 2.**ase基礎知識 3.體系結構 4.數據模型

Hbase環境搭建

1.集群搭建和測試 2.命令行客戶端操作 3.**at

Hbase開發

1.**ase增刪改查 2.**ase的基礎get，scanner等命令

Hadoop

hadoop的前世今生

1.大數據背景及hadoop出現的契機 2.**doop概述 3.**doop生態系統 4.**doop分布式文件系統HDFS 5.**doop計算框架MapReduce 6.**doop版本發展歷史 7.**doop行業應用案例分析 8.**doop與云計算和大數據的關系

hadoop的前世今生

1.**doop 核心組件簡單介紹 2.**doop 部署角色簡單介紹 3.**doop 試驗集群的部署結構 4.**doop 安裝依賴關系 5.**doop 生產環境的部署結構 6.**doop 集群部署 7.**doop 高可用配置方法 8.**doop 集群簡單測試方法 9.**doop 集群異常debug方法

hadoop YARN架構設計和核心概念

1.**RN的出現的背景 2.**RN的設計思想和背景 3.**RN的基礎架構 4.**RN的工作流程 5.**RN的基礎類庫詳解 6.**RN的核心模塊ApplicationMaster詳解 7.**RN的核心模塊ResourseManager剖析 8.**RN的核心模塊NodeManager詳解 9.**RN 資源調度器詳細介紹

Spark

Spark的發展歷程

1.大數據背景及sPARK出現的契機 2.**ark概述 3.**ark生態系統 4.**ark核心組件原理和架構 5.**ark分布式文件系統HDFS 6.**ark計算核心算法 7.**ark部署角色 8.**ark版本發展歷史 9.**ark行業應用案例分析

安裝Spark

1.**ark 核心組件簡單介紹 2.**ark 部署角色簡單介紹 3.**ark 試驗集群的部署結構 4.**ark 安裝依賴關系 5.**ark 生產環境的部署結構 6.**ark 集群部署 7.**ark 高可用配置方法 8.實戰內容（現場實驗環節）

Spark 部署模式剖析

1.**ark的工作流程 2.**ark的多種調度模式區別 3.**ark的調度通信機制

Spark 高級編程,Spark Streaming高級編程

1.**ark 核心API介紹 2.**ffle 算法介紹 3.**ark異?；貪L機制介紹 4.**ark Sql剖析 5.**ark Streaming剖析 6.**ark RDD剖析 7.實戰內容（現場實驗環節）

Spark 及Spring搭配

1.**ark和Spring集成 2.實戰內容（現場實驗環節）

Spark編程模型及調優

1.**ark編程模型及調優 2.實戰內容（現場實驗環節）

storm

Storm基礎知識

1.包括storm基本概念 2.**orm應用場景 3.應用現狀和發展趨勢 4.**orm與hadoop的區別

Storm的架構與原理

1.**mbus進程與Supervisor進程 2.**orm集群環境搭建 3.**okeeper集群的搭建 4.**orm配置文件配置項講解 5.**orm常用組件和編程API 6.**pology、Spout、Bolt、Storm分組策略 7.（Stream Groupings） 8.**orm項目maven環境的搭建 9.實戰內容（現場實驗環節）

storm可靠性機制

1.消息處理的含義 2.**orm的ack/fail機制 3.**orm如何保證可靠性 4.**orm如何實現可靠性

storm高并發策略

1.工作進程、執行器與任務的區別 2.配置topology的并行度 3.**pology實例 4.如何改變運行中topology的并行度

流分組

1.什么是流分組 2.6種不同的流分組方式

組件詳解

1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口 2.基本抽象類:BaseComponent抽象類、BaseRichSpout抽象類、BaseRichBolt抽象類、BaseBasicBolt抽象類

storm批處理事務處理

1.**orm批處理詳解 2.**orm事務工作原理深入講解 3.**orm事務相關API詳解 4.**orm事務案例分析 5.**orm分區事務與不透明分區事務

Kafka

kafka概述

1.**fka是什么:kafka概念詳解：Topics/logs、Distributitions、Producers、Consumers、Guarantees。 2.**fka的應用場景 3.**fka的體系架構與設計原理

kafka的安裝部署

1.**fka集群環境的搭建 2.**fka配置項的配置與講解 3.分布與訂閱的原理 4.分布與訂閱的接口

kafka使用zookeeper進行協調管理

1.**okeeper在kafka中的作用 2.**okeeper如何進行協調管理