博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop伪分布式安装
阅读量:4699 次
发布时间:2019-06-09

本文共 1364 字,大约阅读时间需要 4 分钟。

 

首先在虚拟机VMware下安装linux系统CentOS,安装基本上是一键式操作,利用Xshell连接,输入主机名,然后点击左侧导航栏的用户身份验证,输入用户名密码即可。

1.安装过程中所用到的基本命令有:

cat:是查看某个文件的内容

vi:编辑某个文件输入i进入插入模式编辑,esc退出插入模式

:wq 保存退出

:q!不保存退出

su:切换到root用户

exit:退出root用户
pwd:查看当前目录
cd:切换目录

tar -zxvf 文件名:解压文件

2.[lang@centos-lang ~]$

lang是用户名称

centos-lang是主机名称
~就是当前登录的用户的家目录

3.安装jdk

3.1 上传解压jdk,利用Xftp上传文件到linux系统,我在这里建立software文件夹,并上传到这里

 

 

3.2 修改环境变量

修改/etc/profile配置文件,在末尾添加

JAVA_HOME=/home/lang/software/jdk1.8.0_121

export PAHT=$PATH:$JAVA_HOME/bin

如图:

其中可以进入到jdk根目录下查看路径,如图:

3.3使profile文件生效,安装完成

3.4 查看安装的jdk 

4.hadoop伪分布式安装

4.1 上传解压,步骤和上传解压jdk类似

4.2 修改$HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>

      <property>
           <name>fs.defaultFS</name>
           <value>hdfs://centos-lang:9000</value>
      </property>
</configuration>

4.3 修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>

      <property>
           <name>dfs.replication</name>
           <value>1</value>
     </property>
</configuration>

4.4. 修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/home/lang/software/jdk1.8.0_121

4.5. 把文件系统进行格式化(只能操作一次)

$HADOOP_HOME/bin/hdfs namenode -format

如果要第二次格式化,切换到/tmp里,执行rm -rf * 如图,然后在进行格式化

4.6. 修改hosts文件

切换到root用户,进入到hosts文件编辑,添加ip地址以及主机名

 

4.7. 启动HDFS

$HADOOP_HOME/sbin/start-dfs.sh

如果没有进行SSH免密登录,需要输入三次密码即可

SSH免密登录

配置的时候,需要生成两个文件公钥和私钥,私钥自己保存,把公钥给对方。

生成公钥和私钥:ssh-keygen

把公钥给信任主机:ssh-copy-id 主机名

4.8 打开jps查看进程,启动成功说明配置成功

 

 

 

 

 

 

 

 

 

转载于:https://www.cnblogs.com/langgj/p/6595430.html

你可能感兴趣的文章
FansUnion:共同写博客计划终究还是“流产”了
查看>>
python 二维字典
查看>>
pip 警告!The default format will switch to columns in the future
查看>>
Arrays类学习笔记
查看>>
实验吧之【天下武功唯快不破】
查看>>
2019-3-25多线程的同步与互斥(互斥锁、条件变量、读写锁、自旋锁、信号量)...
查看>>
win7-64 mysql的安装
查看>>
dcm4chee 修改默认(0002,0013) ImplementationVersionName
查看>>
maven3在eclipse3.4.2中创建java web项目
查看>>
发布时间 sql语句
查看>>
黑马程序员 ExecuteReader执行查询
查看>>
记一些从数学和程序设计中体会到的思想
查看>>
题目1462:两船载物问题
查看>>
POJ 2378 Tree Cutting(树形DP,水)
查看>>
第二冲刺阶段个人博客5
查看>>
UVA 116 Unidirectional TSP (白书dp)
查看>>
第三方测速工具
查看>>
MySQL 网络访问连接
查看>>
在aws ec2上使用root用户登录
查看>>
数据访问 投票习题
查看>>