歡迎來到培訓(xùn)無憂網(wǎng)!
授課機(jī)構(gòu):太原電腦it培訓(xùn)學(xué)校
地址:太原市小店區(qū)
網(wǎng)報(bào)價(jià)格:¥電詢
課程原價(jià):¥電詢
咨詢熱線:400-001-5729
課程詳情 學(xué)校簡(jiǎn)介 學(xué)校地址 申請(qǐng)?jiān)嚶?/span>
關(guān)鍵詞:太原大數(shù)據(jù)云計(jì)算培訓(xùn)班有哪些
大數(shù)據(jù)云計(jì)算培訓(xùn)班
1
課程內(nèi)容
算(hadoop)知識(shí)模塊體系 | ||
一、Linux基礎(chǔ) |
1)Linux的介紹,Linux的安裝:VMware Workstation虛擬軟件安裝過程、CentOS虛擬機(jī)安裝過程 2)了解機(jī)架服務(wù)器,采用真實(shí)機(jī)架服務(wù)器部署linux 3)Linux的常用命令:常用命令的介紹、常用命令的使用和練習(xí) 4)Linux系統(tǒng)進(jìn)程管理基本原理及相關(guān)管理工具如ps、pkill、top、htop等的使用; 5)Linux啟動(dòng)流程,運(yùn)行級(jí)別詳解,chkconfig詳解 6)VI、VIM編輯器:VI、VIM編輯器的介紹、VI、VIM扥使用和常用快捷鍵 7)Linux用戶和組賬戶管理:用戶的管理、組管理 8)Linux磁盤管理,lvm邏輯卷,nfs詳解 9)Linux系統(tǒng)文件權(quán)限管理:文件權(quán)限介紹、文件權(quán)限的操作 10)Linux的RPM軟件包管理:RPM包的介紹、RPM安裝、卸載等操作 11)yum命令,yum源搭建 12)Linux網(wǎng)絡(luò):Linux網(wǎng)絡(luò)的介紹、Linux網(wǎng)絡(luò)的配置和維護(hù) 13)Shell編程:Shell的介紹、Shell腳本的編寫 14)Linux上常見軟件的安裝:安裝JDK、安裝Tomcat、安裝mysql,web項(xiàng)目部署 |
|
二、大型網(wǎng)站高并發(fā)處理 |
1)第四層負(fù)載均衡: 2)第七層負(fù)載均衡 3)Tomcat、jvm優(yōu)化提高并發(fā)量 4)緩存優(yōu)化 5)Lvs+nginx+tomcat+redis|memcache構(gòu)建二層負(fù)載均衡千萬并發(fā)處理 6)Fastdfs小文件獨(dú)立存儲(chǔ)管理 |
|
三、初識(shí)hadoop | 1)Hadoop生態(tài)環(huán)境介紹 2)國 內(nèi)外Hadoop應(yīng)用案例介紹 3)Hadoop 概念、版本、歷史 4)Hadoop 核心組成介紹及hdfs、mapreduce 體系結(jié)構(gòu) 5)Hadoop 的集群結(jié)構(gòu) 6)Hadoop 偽分布的詳細(xì)安裝步驟 7)通過命令行和瀏覽器觀察hadoop | |
四、 HDFS體系結(jié)構(gòu)和shell以及java操作 | 1)HDFS底層工作原理 2)HDFS datanode,namenode詳解 3)Hdfs shell 4)Hdfs java api | |
五、詳細(xì)講解Mapreduce | 1)Mapreduce四個(gè)階段介紹 2)Writable 3)InputSplit和OutputSplit 4)Maptask 5)Shuffle:Sort,Partitioner,Group,Combiner 6)Reducer | |
六、Mapreduce案例案例 | 1)二次排序 2)倒排序索引 3)Z優(yōu)路徑 4)電信數(shù)據(jù)挖掘之--移動(dòng)軌跡預(yù)測(cè)分析(中 國棱鏡計(jì)劃) 5)社交好友推薦算法 6)互聯(lián)網(wǎng)準(zhǔn)確廣告推送 算法 7)阿里巴巴天池大數(shù)據(jù)競(jìng)賽 《天貓推薦算法》案例 8)Mapreduce實(shí)戰(zhàn)pagerank算法 | |
七、Hadoop2.x集群搭建 | 1)Hadoop2.x集群結(jié)構(gòu)體系介紹 2)Hadoop2.x集群搭建 3)NameNode的高可用性(HA) 4)HDFS Federation 5)ResourceManager 的高可用性(HA) 6)Hadoop集群常見問題和解決方法 7)Hadoop集群管理 | |
八、分布式數(shù)據(jù)庫Hbase | 1)HBase定義 2)HBase與RDBMS的對(duì)比 3)數(shù)據(jù)模型 4)系統(tǒng)架構(gòu) 5)HBase上的MapReduce 6)表的設(shè)計(jì) 7)集群的搭建過程講解 8)集群的監(jiān)控 9)集群的管理 10)HBase Shell以及演示 11)Hbase 樹形表設(shè)計(jì) 12)Hbase 一對(duì)多 和 多對(duì)多 表設(shè)計(jì) 13)Hbase 微博 案例 14)Hbase 訂單案例 15)Hbase表級(jí)優(yōu)化 16)Hbase 寫數(shù)據(jù)優(yōu)化 17)Hbase 讀數(shù)據(jù)優(yōu)化 | |
九、數(shù)據(jù)倉庫Hive | 1)數(shù)據(jù)倉庫基礎(chǔ)知識(shí) 2)Hive定義 3)Hive體系結(jié)構(gòu)簡(jiǎn)介 4)Hive集群 5)客戶端簡(jiǎn)介 6)HiveQL定義 7)HiveQL與SQL的比較 8)數(shù)據(jù)類型 9)外部表和分區(qū)表 10)ddl與CLI客戶端演示 11)dml與CLI客戶端演示 12)select與CLI客戶端演示 13)Operators 和 functions與CLI客戶端演示 14)Hive server2 與jdbc 15)用戶自定義函數(shù)(UDF 和 UDAF)的開發(fā)與演示 16)Hive 優(yōu)化 | |
十、elasticsearch分布式搜索 | 1)elasticsearch簡(jiǎn)介 2)elasticsearch和solr的對(duì)比 3)elasticsearch安裝部署 4)elasticsearch service wrapper啟動(dòng)插件 5)使用curl操作elasticsearch索引庫 6)elasticsearch DSL查詢 7)elasticsearch批量查詢meet 8)elasticsearch批量操作bulk 9)elasticsearch插件介紹 10)elasticsearch配置文件詳解 11)java操作elasticsearch 12)elasticsearch的分頁查詢 13)elasticsearch中文分詞工具的集成 14)elasticsearch優(yōu)化 15)elasticsearch集群部署 16)elasticsearch+hbase大型搜索系統(tǒng)架構(gòu) | |
十一、CM+CDH集群管理 | 1)CM + CDH集群的安裝 2)基于CM主機(jī)及各種服務(wù)組件的管理 3)CDH集群的配置和參數(shù)調(diào)優(yōu) 4)CDH集群HA配置及集群升級(jí) 5)CM的監(jiān)控管理 6)集群管理的注意事項(xiàng) 7)HUE實(shí)戰(zhàn)詳解 | |
十二、 Impala | 1)Impala介紹和架構(gòu) 2)Impala實(shí)戰(zhàn)安裝,架構(gòu),外部shell 3)Impala內(nèi)部shell,存儲(chǔ)分區(qū),SQL 4)Impala SQL、hbase整合,JDBC、性能優(yōu)化 5)Impala配置及其調(diào)優(yōu) 6)Impala項(xiàng)目應(yīng)用 | |
十三、Oozie | 1)Oozie入門介紹 2)Oozie安裝配置及其簡(jiǎn)單操作 3)hPDL語言學(xué)習(xí)及流程定義 4)oozie工作流配置及元數(shù)據(jù)庫定義 5)oozie定時(shí)任務(wù)調(diào)度和oozie API操作 | |
十四、數(shù)據(jù)遷移工具Sqoop | 1)介紹 和 配置Sqoop 2)Sqoop shell使用 3)Sqoop-import 4)Sqoop-export | |
十五、Flume分布式日志框架 | 1)flume簡(jiǎn)介-基礎(chǔ)知識(shí) 2)flume安裝與測(cè)試 3)flume部署方式 4)flume source相關(guān)配置及測(cè)試 5)flume sink相關(guān)配置及測(cè)試 6)flume selector 相關(guān)配置與案例分析 7)flume Sink Processors相關(guān)配置和案例分析 8)flume Interceptors相關(guān)配置和案例分析 9)flume AVRO Client開發(fā) 10)flume 和kafka 的整合 | |
十六、Zookeeper 開發(fā) | 1)zookeeper架構(gòu) 2)zookeeper實(shí)戰(zhàn)環(huán)境 3)zookeeper內(nèi)部算法詳解 4)Zookeeper java api開發(fā) 6)Zookeeper實(shí)現(xiàn)SOA高可用架構(gòu)框架 7)Netty 異步io通信框架 8)Zookeeper實(shí)現(xiàn)netty分布式架構(gòu)的高可用 9)Zookeeper分布式鎖實(shí)現(xiàn) | |
內(nèi)存計(jì)算(spark)知識(shí)模塊體系 | 一、 Redis緩存數(shù)據(jù)庫 |
1).redis特點(diǎn)、與其他數(shù)據(jù)庫的比較 2.如何安裝redis 3.如何使用命令行客戶端 4.redis的字符串類型 5.redis的散列類型 6.redis的列表類型 7.redis的集合類型 8.如何使用java訪問redis【a.python訪問redis,scala訪問redis】 9.redis的事務(wù)(transaction) 10.redis的管道(pipeline) 11.redis持久化(AOF+RDB) 12.redis優(yōu)化 13.redis的主從復(fù)制 14.redis的sentinel高可用 15.twemproxy,codis實(shí)戰(zhàn) 16.redis3.x集群安裝配置 |
二、Kafka分布式隊(duì)列系統(tǒng) | 1)kafka是什么 2)kafka體系結(jié)構(gòu) 3)kafka配置詳解 4)kafka的安裝 5)kafka的存儲(chǔ)策略 6)kafka分區(qū)特點(diǎn) 7)kafka的發(fā)布與訂閱 8)zookeeper協(xié)調(diào)管理 9)java編程操作kafka 10)scala編程操作kafka 11)flume 和kafka 的整合 12)Kafka 和storm 的整合 | |
三、Storm實(shí)時(shí)數(shù)據(jù)處理 |
1)Storm的基本概念 2)Storm的應(yīng)用場(chǎng)景 3)Storm和Hadoop的對(duì)比 4)Storm集群的安裝的linux環(huán)境準(zhǔn)備 5)zookeeper集群搭建 6)Storm集群搭建 7)Storm配置文件配置項(xiàng)講解 8)集群搭建常見問題解決 9)Storm常用組件和編程API:Topology、 Spout、Bolt 10)Storm分組策略(stream groupings) 11)使用Strom開發(fā)一個(gè)WordCount例子 12)Storm程序本地模式debug、Storm程序遠(yuǎn)程debug 13)Storm事物處理 14)Storm消息可靠性及容錯(cuò)原理 15)Storm結(jié)合消息隊(duì)列Kafka:消息隊(duì)列基本概念(Producer、Consumer、Topic、Broker等)、消息隊(duì)列Kafka使用場(chǎng)景、Storm結(jié)合Kafka編程API 16)Storm Trident概念 17)Trident state 原理 18)Trident開發(fā)實(shí)例 19)Storm DRPC(分布式遠(yuǎn)程調(diào)用)介紹 20)Storm DRPC實(shí)戰(zhàn)講解 21)Storm和Hadoop 2.x的整合:Storm on Yarn 22)淘寶核心架構(gòu)套件 23)Storm開發(fā)實(shí)戰(zhàn): flume+Kafka+Storm+Hbase+redis項(xiàng)目實(shí)戰(zhàn),以及多個(gè)案例 |
|
四、Scala | 1)scala解釋器、變量、常用數(shù)據(jù)類型等 2)scala的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu) 3)scala的函數(shù)、默認(rèn)參數(shù)、變長(zhǎng)參數(shù)等 4)scala的數(shù)組、變長(zhǎng)數(shù)組、多維數(shù)組等 5)scala的映射、元組等操作 6)scala的類,包括bean屬性、輔助構(gòu)造器、主構(gòu)造器等 7)scala的對(duì)象、單例對(duì)象、伴生對(duì)象、擴(kuò)展類、apply方法等 8)scala的包、引入、繼承等概念 9)scala的特質(zhì) 10)scala的操作符 11)scala的高階函數(shù) 12)scala的集合 13)scala數(shù)據(jù)庫連接 | |
五、Spark2.0 core大數(shù)據(jù)編程 |
1)Spark2.0介紹 2)Spark應(yīng)用場(chǎng)景 3)Spark和Hadoop MR、Storm的比較和優(yōu)勢(shì) 4)RDD 5)Transformation 6)Action 7)Spark計(jì)算PageRank 8)Lineage 9)Spark模型簡(jiǎn)介 10)Spark緩存策略和容錯(cuò)處理 11)寬依賴與窄依賴 12)Spark配置講解 13)Spark集群搭建 14)集群搭建常見問題解決 15)Spark原理核心組件和常用RDD 16)數(shù)據(jù)本地性 17)任務(wù)調(diào)度 18)DAGScheduler 19)TaskScheduler 20)Spark源碼解讀 21)性能調(diào)優(yōu) 22)Spark和Hadoop2.x整合:Spark on Yarn原理 23) Spark Core核心編程 24)RDD內(nèi)核架構(gòu)概覽 25)RDD的不同數(shù)據(jù)來源的創(chuàng)建方式詳解 26)RDD的操作算子綜述與本質(zhì)分析(轉(zhuǎn)換算子、行動(dòng)算子) 27)常用操作算子的案例實(shí)戰(zhàn) 28)RDD持久化實(shí)戰(zhàn)以及Checkpoint 29)RDD共享變量以及累加器的使用實(shí)戰(zhàn) 30)RDD簡(jiǎn)單排序功能(優(yōu)化之前WordCount程序)以及二次排序的實(shí)戰(zhàn) 31)Spark實(shí)戰(zhàn)Top N功能詳解 32)Spark任務(wù)調(diào)度流程整體架構(gòu)分析詳解 33)Spark任務(wù)劃分流程整體架構(gòu)分析詳解(寬依賴與窄依賴、DAGScheduler源碼分析) 34)Spark執(zhí)行任務(wù)相關(guān)原理以及源碼分析(TaskScheduler、Executor、Task、Shuffle) 35)Spark實(shí)戰(zhàn)之PageRank 36)性能優(yōu)化與調(diào)優(yōu)的分析 |
|
六、 Spark SQL | 1.Spark RDD應(yīng)用SQL實(shí)戰(zhàn) 2.RDD轉(zhuǎn)化為DataFrame數(shù)據(jù)框的方式詳解 3.Spark DataFrame數(shù)據(jù)框操作實(shí)戰(zhàn) 4.加載和保存數(shù)據(jù)操作(load與save) 5.JSON數(shù)據(jù)源實(shí)戰(zhàn)案例 6.JDBC數(shù)據(jù)源實(shí)戰(zhàn)案例 7.Hive數(shù)據(jù)源實(shí)戰(zhàn)案例 8.Parquets數(shù)據(jù)源實(shí)戰(zhàn)加載數(shù)據(jù)、自動(dòng)分區(qū)推斷、合并元數(shù)據(jù) 9.內(nèi)置函數(shù)的實(shí)戰(zhàn)案例 10.開窗函數(shù)的實(shí)戰(zhàn)案例 11.Spark SQL UDF自定義函數(shù)實(shí)戰(zhàn) 12.Spark SQL UDAF自定義聚合函數(shù)實(shí)戰(zhàn) 13.Spark SQL 工作原理詳解以及Spark SQL 的源碼分析 14.Hive on Spark | |
七、Spark Streaming實(shí)時(shí)計(jì)算 | 1)Spark Streaming和Storm對(duì)比講解 2)Spark Streaming本質(zhì)原理分析 3)Wordcount程序的實(shí)時(shí)版本開發(fā) 4)Spark Streaming和Spark Core里面context的不同 5)輸入DStream和Receiver的講解 6)不同輸入源(Kafka、HDFS)的DStream操作實(shí)戰(zhàn) 7)基于DStream的window滑動(dòng)窗口實(shí)戰(zhàn)案例 8)基于DStream的updateStateByKey實(shí)戰(zhàn)案例 9)基于DStream的transform實(shí)戰(zhàn)案例 10)DStream的輸出存儲(chǔ)操作以及核心函數(shù)foreachRDD實(shí)戰(zhàn) 11)Spark Streaming的持久化實(shí)戰(zhàn)以及Checkpoint 12)與Spark SQL結(jié)合使用實(shí)戰(zhàn)案例 13)架構(gòu)原理分析與性能優(yōu)化 | |
人工智能知識(shí)模塊體系 | 一、語言機(jī)器學(xué)習(xí) | 1)R語言介紹,基本函數(shù),數(shù)據(jù)類型 2)線性回歸 3)樸素貝葉斯分類 4)決策樹分類 5)k均值聚類 6)關(guān)聯(lián)規(guī)則探索 7)神經(jīng)網(wǎng)絡(luò) |
二、Mahout機(jī)器學(xué)習(xí) | 1)介紹為什么使用它,它的前景 2)配置安裝(hadoop2.x版本的)編譯安裝步驟說明 3)推薦 4)分類 5)聚類 | |
三、Python | 1)介紹Python以及特點(diǎn) 2)Python的安裝 3)Python基本操作(注釋、邏輯、字符串使用等) 4)Python數(shù)據(jù)結(jié)構(gòu)(元組、列表、字典) 5)使用Python進(jìn)行批量重命名小例子 6)Python常見內(nèi)建函數(shù) 7)更多Python函數(shù)及使用常見技巧 8)異常 9)Python函數(shù)的參數(shù)講解 10)Python模塊的導(dǎo)入 11)Python中的類與繼承 12)網(wǎng)絡(luò)爬蟲案例 13)數(shù)據(jù)庫連接,以及pip安裝模塊 14)Mongodb基礎(chǔ)入門 15)講解如何連接mongodb 16)Python的機(jī)器學(xué)習(xí)案例 | |
四、park MLlib機(jī)器學(xué)習(xí) | 1)介紹b 2)回歸算法b 3)分類算法b 4)第四章 推薦系統(tǒng)b 5)第五章 聚類b | |
云計(jì)算知識(shí)模塊體系 | 一、Docker | 1)基本介紹 2)vm docker 對(duì)比 3)docker基本架構(gòu)介紹 4)unfs cgroup namespace 5)進(jìn)程虛擬化 輕量級(jí)虛擬化 6)docker 安裝 7)docker 鏡像制作 8)docker 常用命令 9)docker 鏡像遷移 10)docker pipework 11)docker weave |
二、虛擬化KVM |
1)虛擬化介紹,虛擬化適用場(chǎng)景等等 2)Qemu Libvirt & KVM 3)安裝KVM, Qemu, Libvirt 4)QEMU-KVM: 安裝個(gè)能上網(wǎng)的虛擬機(jī) 5)Kvm虛擬機(jī) nat,網(wǎng)橋基本原理 6)kvm虛擬機(jī)克隆 7)kvm虛擬機(jī)vnc配置 8)kvm虛擬機(jī)擴(kuò)展磁盤空間 9)Kvm快照 10)Kvm 遷移 11)Java,python,c語言編程控制kvm 12)構(gòu)建自己的虛擬云平臺(tái) |
|
三、云平臺(tái)OpenStack | 1)openstack介紹和模塊基本原理分析 2)openstack多節(jié)點(diǎn)安裝部署 3)Keystone基本原理 4)glance 5)Cinder 6)Swift 7)Neutron 8)Openstack api 二次開發(fā) |
太原電腦it培訓(xùn)學(xué)校
尚學(xué)堂教育中心成立,現(xiàn)旗下業(yè)務(wù)覆蓋:JAVA開發(fā)技術(shù)培訓(xùn)、高級(jí)架構(gòu)師培訓(xùn)、大數(shù)據(jù)云計(jì)算培訓(xùn)、人工智能python培訓(xùn)、H5前端開發(fā)培訓(xùn)、項(xiàng)目開發(fā)業(yè)務(wù)、團(tuán)隊(duì)激勵(lì)、在線教育集群業(yè)務(wù)。
事業(yè)部遍布北京、上海、廣州、長(zhǎng)沙、成都、太原、鄭州、哈爾濱、深圳、武漢等十多個(gè)城市。
尚學(xué)堂12大精英團(tuán)隊(duì),覆蓋IT行業(yè)十大領(lǐng)域,實(shí)戰(zhàn)團(tuán)隊(duì)240人,服務(wù)學(xué)員累計(jì)超過10萬人,就業(yè)合作企業(yè)數(shù)量500+。
尚學(xué)堂優(yōu)勢(shì)
12大精英團(tuán)隊(duì)+各類實(shí)戰(zhàn)項(xiàng)目,真正實(shí)現(xiàn)1+1>10的目標(biāo)效果。幫助學(xué)員迅速成長(zhǎng),持久騰飛,成就學(xué)員“高富帥”人生;幫助企業(yè)技術(shù)和團(tuán)隊(duì)成長(zhǎng),成就百年中華名企;
公司愿景
成為提供全品類、線上和線下綜合教育服務(wù)的中心,為教育插上“實(shí)戰(zhàn)化和高效率”的翅膀,解決教育不公平和低效率問題。
公司使命
立志解決教育不公平和低效率問題,幫助千千萬萬被傳統(tǒng)教育方式耽誤的人,傳授實(shí)用、前沿的知識(shí),成就學(xué)員個(gè)人理想,為愛你的人和你愛的人創(chuàng)造美好的生活。
學(xué)校名稱:太原電腦it培訓(xùn)學(xué)校
固定電話:400-001-5729
授課地址:太原市小店區(qū) 預(yù)約參觀