上海大數(shù)據(jù)開發(fā)課程培訓(xùn)班

課程內(nèi)容

大數(shù)據(jù)運(yùn)維之Linux基礎(chǔ)
Linux系統(tǒng)做為大數(shù)據(jù)平的企業(yè)級(jí)操作系統(tǒng)，本部分是基礎(chǔ)課程，幫大家打好Linux基礎(chǔ)，以便更好地學(xué)習(xí)Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等眾多課程。這是進(jìn)入大數(shù)據(jù)領(lǐng)域的必須掌握的基礎(chǔ)技術(shù)因?yàn)槠髽I(yè)中的項(xiàng)目基本上都是使用Linux環(huán)境下搭建或部署的。
從入門到精通
本課程是整套大數(shù)據(jù)課程的基石：其一，分布式文件系統(tǒng)HDFS用于存儲(chǔ)海量數(shù)據(jù)，無論是Hive、HBase或者Spark分析的數(shù)據(jù)是存儲(chǔ)在HDFS里面；其二是分布式資源管理框架YARN是用來在Hadoop云操作系統(tǒng)（也稱數(shù)據(jù)系統(tǒng)）管理集群資源和分布式數(shù)據(jù)處理框架MapReduce、Spark應(yīng)用的資源調(diào)度與監(jiān)控的；分布式并行計(jì)算框架MapReduce目前是海量數(shù)據(jù)并行處理的一個(gè)常用的框架。Hadoop 2.x的編譯、環(huán)境搭建、HDFS Shell使用，YARN集群資源管理與任務(wù)監(jiān)控，MapReduce編程，分布式集群的部署管理（包括高可用性HA）必須要掌握的。
大數(shù)據(jù)倉庫Hive精講
hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供基本的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通類SQL語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。
大數(shù)據(jù)倉庫Hive精講
Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫mysql、Oracle、SQLServer、postgresql等RDBMS數(shù)據(jù)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫，例如：MySQL、Oracle、SQLServer、Postgres等RDBMS中的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。Sqoop項(xiàng)目開始于2009年，最早是作為Hadoop的一個(gè)第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨(dú)立成為一個(gè)Apache項(xiàng)目。
WEB工具Hue精講
Hue是一個(gè)開源的Apache Hadoop UI系統(tǒng)，最早是由Cloudera Desktop演化而來，由Cloudera貢獻(xiàn)給開源社區(qū)，它是基于Python Web框架Django實(shí)現(xiàn)的。通過使用Hue我們可以在瀏覽器端的Web控制臺(tái)上與Hadoop集群進(jìn)行交互來分析處理數(shù)據(jù)，例如操作HDFS上的數(shù)據(jù)，運(yùn)行MapReduce Job等等。
核心應(yīng)用
國內(nèi)關(guān)于Java性能調(diào)優(yōu)的課程非常少，如此全面深入介紹Java性能調(diào)優(yōu);本套課程系多年工作經(jīng)驗(yàn)與心得的總結(jié)，課程有著很高的含金量和實(shí)用價(jià)值，本課程專注于java應(yīng)用程序的優(yōu)化方法，技巧和思想，深入剖析軟件設(shè)計(jì)層面、代碼層面、JVM虛擬機(jī)層面的優(yōu)化方法，理論結(jié)合實(shí)際，使用豐富的示例幫助學(xué)員理解理論知識(shí)。