Hadoop最早起源于google的三大論文GFS,MapReduce和BigTable。后來出現(xiàn)了Java版本的 HDFS、MapReduce 和 HBase,這就是Hadoop。而且,隨著Hadoop成為Apache的頂級項目,外圍出現(xiàn)了越來越多的組件,這些構(gòu)成了一個龐大的Hadoop生態(tài)圈。
要使用Hadoop,首先要進行安裝。Hadoop可以安裝在windows操作系統(tǒng)上,但更多的是安裝在Linux系統(tǒng)上。因為服務器90%以上都是Linux系統(tǒng)。下面,我們以Centos6為例,看看Hadoop是如何安裝的。
安裝Hadoop的前提,首先要安裝好Java,建議Java8版本。其次要安裝SSH,這兩點有Linux基礎(chǔ)的朋友想必都很熟悉了,我們就不贅述了。
從大的分類上來講,Hadoop安裝模式有三種:單機模式(Standalone)、偽分布式(Pseudo-Distributed)和完全分布式(Fully-Distributed)。前兩者只適合測試使用,完全分布式才應用于真正生成環(huán)境中。這里,我們只看完全分布式的安裝。
集群的安裝部署規(guī)劃如下表所示:
第一步,從官網(wǎng)下載Hadoop安裝包。本文下載的是hadoop-2.7.2.tar.gz。上傳到node1節(jié)點并解壓。
第二步,Hadoop文件配置
A. core-site.xml,文件內(nèi)容如下:
B.hadoop-env.sh,配置JDK的安裝配置
C.hdfs-site.xml
>>本文地址:http://uj2y2uok.com/zhuanye/2020/48321.html
聲明:本站稿件版權(quán)均屬中公教育優(yōu)就業(yè)所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
1 您的年齡
2 您的學歷
3 您更想做哪個方向的工作?