大數(shù)據(jù)工程師成長歷程
階段 技能點 能力培養(yǎng)
Java基礎 Java基礎語法、面向對象、異常處理、集合框架、常用類、I/O操作、多線程、網(wǎng)絡編程、XML解析 熟練使用MyElipse開發(fā)Java程序
會使用Java編寫常用的流程控制語句
理解并掌握面向對象思想及其三大特性
能夠運用Java常用類解決實際問題
會使用集合框架存儲數(shù)據(jù)、I/O技術操作文件
能夠實現(xiàn)多線程及網(wǎng)絡編程
JavaWeb網(wǎng)站開發(fā) HTML5、CSS3、JavaScript/ES6、JQuery、JSP/Servlet、MySQL數(shù)據(jù)庫、JDBC、Linux、SVN 了解B/S架構運行原理
掌握網(wǎng)頁的開發(fā)和設計技能
掌握JavaWeb核心開發(fā)技能
掌握Linux應用部署和監(jiān)控技能
掌握基本的JavaEE應用設計和開發(fā)技能
鍛煉學員團隊協(xié)作能力
SSM/SSH框架 MyBatis框架、Spring框架、Spring MVC框架、Struts2框架、Hibernate框架、Git、Maven 、Oracle數(shù)據(jù)庫 掌握SSM/SSH框架核心技能及應用開發(fā)技能
掌握Oracle數(shù)據(jù)庫設計和應用技能
學會使用Git進行項目代碼版本管理
學會使用Maven進行項目構建管理
基于分布式微服的互聯(lián)網(wǎng)架構 分布式微服架構、Dubbox、Spring Cloud、Spring Boot、Docker環(huán)境快速搭建實現(xiàn)自動化部署、分布式下ID*性、Redis、分布式事務處理、分布式下三方接入、Active MQ消息隊列等 培養(yǎng)學員基于分布式項目的業(yè)務架構、應用架構、技術架構、安全架構、網(wǎng)絡拓撲架構等的
設計和代碼開發(fā)能力，以及在部署策略等方面的綜合能力
培養(yǎng)學員分布式項目下核心業(yè)務處理能力
培養(yǎng)學員在分布式項目下對于高并發(fā)、數(shù)據(jù)最終一致性、性能優(yōu)化等問題的解決處理能力
Python爬蟲+ELK+分析 Shell編程、Python編程、NumPy&Pandas、Scrapy、LXML、PySpider、數(shù)據(jù)采集、整理和清洗、Elasticsearch、Logstash、Kibana 掌握Python編程
具備Python的爬蟲開發(fā)、 數(shù)據(jù)獲取和整理等能力
能夠使用ELK進行數(shù)據(jù)導入、 查詢和集成
Hadoop生態(tài)圈 HDFS、MapReduce、YARN、Hive、Sqoop、HBase 掌握Hadoop集群配置與管理
掌握HDFS文件操作
掌握分布式計算原理
掌握基于Hive的數(shù)據(jù)ETL和數(shù)據(jù)查詢
掌握HBase數(shù)據(jù)存儲
掌握數(shù)據(jù)導入導出
Spark技術線 Scala編程、Spark RDD、Spark SQL、Spark GraphX、PySpark、Jupyter、Hadoop數(shù)據(jù)模型、Atlas&Ranger、NiFi、Kafka、Oozie、Cassandra&Hive、Redis&Hive、MongoDB、Tableau 掌握Spark集群配置與管理，以及Spark離線計算
具備Scala和Python編寫 Spark應用的能力
具備在企業(yè)數(shù)據(jù)湖中建立數(shù)據(jù)流程/通道、實施數(shù)據(jù)監(jiān)管、規(guī)范數(shù)據(jù)管理和確保數(shù)據(jù)安全
具備數(shù)據(jù)采集、數(shù)據(jù)變換、數(shù)據(jù)建模、任務調(diào)度以及與企業(yè)應用的數(shù)據(jù)集成的能力具備多種NoSQL數(shù)據(jù)存儲的能力
掌握Hive/Spark實施數(shù)據(jù)變換、BI工具與 Hive、 NoSQL 的集成
掌握用戶興趣取向分析/航班飛行網(wǎng)圖分析/電子商務消費行為分析/用戶交易欺詐分析案例的具體實現(xiàn)
實時流處理平臺 Spark Streaming、Flink、Flume、Storm、d3.js、Echarts 掌握Apache NiFi/Kafka/Flume/Spark Streaming的集成使用
具備實時流數(shù)據(jù)存儲、計算、查詢的能力
具備多種流處理框架的運用能力
掌握多種常見可視化工具的使用
掌握股票流數(shù)據(jù)實時分析/輿情分析案例
機器學習 Spark Mllib 掌握Spark機器學習數(shù)據(jù)結構及流程
掌握分類,聚類和推薦模型
掌握垃圾郵件分類
提升課程
課程（崗位） 能力培養(yǎng) 項目經(jīng)驗
大數(shù)據(jù)開發(fā)工程師標準版(Java開發(fā)工程師) 掌握Java語言及Java技能體系 互聯(lián)網(wǎng)項目開發(fā)經(jīng)驗：
具備分布式項目的開發(fā)經(jīng)驗，具備針對系統(tǒng)中的擴展性、安全性、高性能等問題的分析、解決能力
掌握SSM/SSH框架技術進行垂直架構項目的開發(fā)
具備架構設計能力，可進行分布式微服架構項目的開發(fā)
具備大數(shù)據(jù)Hadoop相關基礎知識
大數(shù)據(jù)開發(fā)工程師提升版(大數(shù)據(jù)應用開發(fā)工程師) 掌握大數(shù)據(jù)生態(tài)圈相關技術的開發(fā)及應用，掌握Hadoop、Spark、Spark Streaming、Kafka，掌握Flink，了解Storm 大數(shù)據(jù)項目開發(fā)經(jīng)驗:
包括Python爬蟲與ELK搜索、電子商務消費行為分析、航班飛行網(wǎng)圖分析、垃圾郵件分類、輿情分析、用戶交易欺詐分析、用戶興趣取向分析、股票流數(shù)據(jù)實時分析
掌握Java、Python、Scala、Shell編程
搭建和部署Hadoop、Spark、Flink、Storm集群，并能夠利用大數(shù)據(jù)平臺實現(xiàn)對數(shù)據(jù)的分析和處理
大數(shù)據(jù)分析師 流行的學習、分析、挖掘算法、分布式數(shù)據(jù)處理、數(shù)學建模、模型演練、智能化算法優(yōu)化，以及創(chuàng)造性的算法實現(xiàn)，同時使用R、go、python等進行模型實現(xiàn)
