Hadoop最早是為了在Linux平臺(tái)上使用而開發(fā)的,但是Hadoop在UNIX、Windows和Mac OS X系統(tǒng)上也運(yùn)行良好。不過(guò),在Windows上運(yùn)行Hadoop稍顯復(fù)雜,首先必須安裝Cygwin以模擬Linux環(huán)境,然后才能安裝Hadoop。
在Unix上安裝Hadoop的過(guò)程與在Linux上安裝基本相同,因此下面不會(huì)對(duì)其進(jìn)行詳細(xì)介紹。
在Linux上安裝與配置Hadoop
在Linux上安裝Hadoop之前,需要先安裝兩個(gè)程序:
1. JDK 1.6或更高版本;
2. SSH(安全外殼協(xié)議),推薦安裝OpenSSH。
下面簡(jiǎn)述一下安裝這兩個(gè)程序的原因:
1. Hadoop是用Java開發(fā)的,Hadoop的編譯及MapReduce的運(yùn)行都需要使用JDK。
2. Hadoop需要通過(guò)SSH來(lái)啟動(dòng)salve列表中各臺(tái)主機(jī)的守護(hù)進(jìn)程,因此SSH也是必須安裝的,即使是安裝偽分布式版本(因?yàn)镠adoop并沒(méi)有區(qū)分集群式和偽分布式)。對(duì)于偽分布式,Hadoop會(huì)采用與集群相同的處理方式,即依次序啟動(dòng)文件conf/slaves中記載的主機(jī)上的進(jìn)程,只不過(guò)偽分布式中salve為localhost(即為自身),所以對(duì)于偽分布式Hadoop,SSH一樣是必須的。
一、安裝JDK 1.6
安裝JDK的過(guò)程很簡(jiǎn)單,下面以Ubuntu為例。
(1)下載和安裝JDK
確保可以連接到互聯(lián)網(wǎng),輸入命令:
sudo apt-get install sun-java6-jdk輸入密碼,確認(rèn),然后就可以安裝JDK了。
這里先解釋一下sudo與apt這兩個(gè)命令,sudo這個(gè)命令允許普通用戶執(zhí)行某些或全部需要root權(quán)限命令,它提供了詳盡的日志,可以記錄下每個(gè)用戶使用這個(gè)命令做了些什么操作;同時(shí)sudo也提供了靈活的管理方式,可以限制用戶使用命令。sudo的配置文件為/etc/sudoers。
apt的全稱為the Advanced Packaging Tool,是Debian計(jì)劃的一部分,是Ubuntu的軟件包管理軟件,通過(guò)apt安裝軟件無(wú)須考慮軟件的依賴關(guān)系,可以直接安裝所需要的軟件,apt會(huì)自動(dòng)下載有依賴關(guān)系的包,并按順序安裝,在Ubuntu中安裝有apt的一個(gè)圖形化界面程序synaptic(中文譯名為“新立得”),大家如果有興趣也可以使用這個(gè)程序來(lái)安裝所需要的軟件。(如果大家想了解更多,可以查看一下關(guān)于Debian計(jì)劃的資料。)
(2)配置環(huán)境變量
輸入命令:
sudo gedit /etc/profile輸入密碼,打開profile文件。
歡迎光臨 電子工程網(wǎng) (http://m.qingdxww.cn/) | Powered by Discuz! X3.4 |