hadoop安装配置
不懂hadoop各个版本之间的区别,现在1.0.4是稳定版,就用1.0.4吧
下载hadoop:http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.4/hadoop-1.0.4-bin.tar.gz 然后tar -zxf hadoop-1.0.4-bin.tar.gz进行解压。
安装jdk,sudo apt-get install openjdk-7-jdk
在hadoop-env.sh里面加入JAVA_HOME环境变量
export JAVA_HOME="/usr/lib/jvm/java-1.7.0-openjdk-amd64"
然后配置下自己到自己的免认证登陆:http://jyd.me/linux/ssh-login-without-password/
运行bin文件夹下面的start-all.sh就能启动单机模式。
然后运行stop-all.sh。
yd@ml:~/hadoop/hadoop/bin$ sh stop-all.sh no jobtracker to stop localhost: no tasktracker to stop no namenode to stop localhost: no datanode to stop localhost: no secondarynamenode to stop
为什么是显示没有东西可以stop呢?单机模式的原因吗?
伪分布模式
文件:core-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
文件:mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
文件:hdfs-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
然后再运行start-all.sh
jyd@ml:~/hadoop/hadoop/bin$ sh start-all.sh starting namenode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-namenode-ml.out localhost: starting datanode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-datanode-ml.out localhost: starting secondarynamenode, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-secondarynamenode-ml.out starting jobtracker, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-jobtracker-ml.out localhost: starting tasktracker, logging to /home/jyd/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-jyd-tasktracker-ml.out
然后再stop试试看^_^
jyd@ml:~/hadoop/hadoop/bin$ sh stop-all.sh stopping jobtracker localhost: no tasktracker to stop no namenode to stop localhost: stopping datanode localhost: stopping secondarynamenode
看来确实是单机模型没有加载守护进程,伪分布模式就有了。
要看有没有守护进程在,可以运行jps命令。
jyd@ml:~/hadoop/hadoop/bin$ jps 25780 TaskTracker 25841 Jps 25409 SecondaryNameNode 25502 JobTracker 25132 DataNode
好吧,漏掉了一个步骤,必须先格式化HDFS。
jyd@ml:~/hadoop/hadoop/bin$ ./hadoop namenode -format
然后重新启动下hadoop。【先运行stop-all.sh,然后再运行start-all.sh】
jyd@ml:~/hadoop/hadoop/bin$ jps 27612 NameNode #这次就有NameNode了 28185 SecondaryNameNode 28981 Jps 28286 JobTracker 27883 DataNode 28570 TaskTracker
恩,看到NameNode了。
全分布模式:
要弄成全分布模式,书上说就是把三个配置文件里面的localhost改成真实机器的地址,然后修改下msters,slaves文件就行了。
现在就先不搞了,真正要用的时候再试试。
另外,如果想在不同的模式之间换来换去,可以用软衔接来指定对应模式的conf文件夹。
转载请注明: 转载自http://jyd.me/
本文链接地址: hadoop安装配置
- linux自定义安装目录
- Oozie Sqoop Action 配置