hadoop安装配置

不懂hadoop各个版本之间的区别,现在1.0.4是稳定版,就用1.0.4吧

下载hadoop:http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.4/hadoop-1.0.4-bin.tar.gz 然后tar -zxf hadoop-1.0.4-bin.tar.gz进行解压。

安装jdk,sudo apt-get install openjdk-7-jdk

在hadoop-env.sh里面加入JAVA_HOME环境变量

export JAVA_HOME="/usr/lib/jvm/java-1.7.0-openjdk-amd64"

然后配置下自己到自己的免认证登陆:http://jyd.me/linux/ssh-login-without-password/

运行bin文件夹下面的start-all.sh就能启动单机模式。

然后运行stop-all.sh。

yd@ml:~/hadoop/hadoop/bin$ sh stop-all.sh
no jobtracker to stop
localhost: no tasktracker to stop
no namenode to stop
localhost: no datanode to stop
localhost: no secondarynamenode to stop

为什么是显示没有东西可以stop呢?单机模式的原因吗?

伪分布模式

文件:core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 

文件:mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value> 
        </property>
</configuration>

 

文件:hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

 

然后再运行start-all.sh

jyd@ml:~/hadoop/hadoop/bin$ sh start-all.sh
starting namenode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-namenode-ml.out
localhost: starting datanode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-datanode-ml.out
localhost: starting secondarynamenode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-secondarynamenode-ml.out
starting jobtracker, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-jobtracker-ml.out
localhost: starting tasktracker, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-tasktracker-ml.out

然后再stop试试看^_^

jyd@ml:~/hadoop/hadoop/bin$ sh stop-all.sh
stopping jobtracker
localhost: no tasktracker to stop
no namenode to stop
localhost: stopping datanode
localhost: stopping secondarynamenode

看来确实是单机模型没有加载守护进程,伪分布模式就有了。

要看有没有守护进程在,可以运行jps命令。

jyd@ml:~/hadoop/hadoop/bin$ jps
25780 TaskTracker
25841 Jps
25409 SecondaryNameNode
25502 JobTracker
25132 DataNode

好吧,漏掉了一个步骤,必须先格式化HDFS。
jyd@ml:~/hadoop/hadoop/bin$ ./hadoop namenode -format

然后重新启动下hadoop。【先运行stop-all.sh,然后再运行start-all.sh】

jyd@ml:~/hadoop/hadoop/bin$ jps
27612 NameNode #这次就有NameNode了
28185 SecondaryNameNode
28981 Jps
28286 JobTracker
27883 DataNode
28570 TaskTracker

恩,看到NameNode了。

全分布模式:

要弄成全分布模式,书上说就是把三个配置文件里面的localhost改成真实机器的地址,然后修改下msters,slaves文件就行了。
现在就先不搞了,真正要用的时候再试试。
另外,如果想在不同的模式之间换来换去,可以用软衔接来指定对应模式的conf文件夹。

转载请注明: 转载自http://jyd.me/

本文链接地址: hadoop安装配置

Tagged on:

发表评论

电子邮件地址不会被公开。 必填项已用*标注