hadoop安装配置

不懂hadoop各个版本之间的区别，现在1.0.4是稳定版，就用1.0.4吧

下载hadoop：http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.4/hadoop-1.0.4-bin.tar.gz 然后tar -zxf hadoop-1.0.4-bin.tar.gz进行解压。

安装jdk，sudo apt-get install openjdk-7-jdk

在hadoop-env.sh里面加入JAVA_HOME环境变量

export JAVA_HOME="/usr/lib/jvm/java-1.7.0-openjdk-amd64"

然后配置下自己到自己的免认证登陆：http://jyd.me/linux/ssh-login-without-password/

运行bin文件夹下面的start-all.sh就能启动单机模式。

然后运行stop-all.sh。

yd@ml:~/hadoop/hadoop/bin$ sh stop-all.sh
no jobtracker to stop
localhost: no tasktracker to stop
no namenode to stop
localhost: no datanode to stop
localhost: no secondarynamenode to stop

为什么是显示没有东西可以stop呢？单机模式的原因吗？

伪分布模式

文件：core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

文件：mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value> 
        </property>
</configuration>

文件：hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

然后再运行start-all.sh

jyd@ml:~/hadoop/hadoop/bin$ sh start-all.sh
starting namenode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-namenode-ml.out
localhost: starting datanode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-datanode-ml.out
localhost: starting secondarynamenode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-secondarynamenode-ml.out
starting jobtracker, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-jobtracker-ml.out
localhost: starting tasktracker, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-tasktracker-ml.out

然后再stop试试看^_^

jyd@ml:~/hadoop/hadoop/bin$ sh stop-all.sh
stopping jobtracker
localhost: no tasktracker to stop
no namenode to stop
localhost: stopping datanode
localhost: stopping secondarynamenode

看来确实是单机模型没有加载守护进程，伪分布模式就有了。

要看有没有守护进程在，可以运行jps命令。

jyd@ml:~/hadoop/hadoop/bin$ jps
25780 TaskTracker
25841 Jps
25409 SecondaryNameNode
25502 JobTracker
25132 DataNode

好吧，漏掉了一个步骤，必须先格式化HDFS。
jyd@ml:~/hadoop/hadoop/bin$ ./hadoop namenode -format

然后重新启动下hadoop。【先运行stop-all.sh，然后再运行start-all.sh】

jyd@ml:~/hadoop/hadoop/bin$ jps
27612 NameNode #这次就有NameNode了
28185 SecondaryNameNode
28981 Jps
28286 JobTracker
27883 DataNode
28570 TaskTracker

恩，看到NameNode了。

全分布模式：

要弄成全分布模式，书上说就是把三个配置文件里面的localhost改成真实机器的地址，然后修改下msters，slaves文件就行了。
现在就先不搞了，真正要用的时候再试试。
另外，如果想在不同的模式之间换来换去，可以用软衔接来指定对应模式的conf文件夹。

• ← linux自定义安装目录
• Oozie Sqoop Action 配置 →