您的位置: 首页 > 新闻资讯 > 高质量代理 > 正文

在云主机搭建hadoop环境

发布时间:2019年09月26日 作者: 来源:互联网

  要想学好大数据,不仅要懂得如何分析数据,而且更要懂得处理数据的过程,也就是说各种的分析工具,我们也需要去学习使用。下面分享一个用云主机搭建伪分布式hadoop环境的操作教程给大家。


在云主机搭建hadoop环境


  今天我们用单台云主机(或自建vmware虚机)进行Hadoop所有组件的实际应用,再次加深大数据的技术底蕴。


  一、我们搭建伪分布式的hadoop环境


  所谓伪分布式,即hadoop之dfs的namenode、datanode均在一台云主机中。今天我们用ubuntu 14.04进行测试,主机配置为2cpu、2GB内存、40GB硬盘,具有弹性IP配置。


  二、为便于操作,新建hadoop帐户


  1、sudo useradd -m hadoop -s /bin/bash


  这条命令创建hadoop帐户,并创建/home/hadoop目录,并使用/bin/bash作为Shell


  2、sudo passwd hadoop


  这条命令为hadoop帐户设置密码


  3、sudo adduser hadoop sudo


  为hadoop用户增加管理员权限,方便将来的部署


  三、为便于操作,实现master主机无密登陆


  1、sudo apt-get update


  升级系统,以便为将来的java jdk安装作准备


  2、为本机生成免密码登录,为hadoop作准备


  ssh localhost 登录成功后退出

  cd ~/.ssh/

  ssh-keygen -t rsa

  cat ./id_rsa.pub>>./authorized_keys

  ssh localhost 如果正常,将实现免密登陆


  四、安装java环境


  1、sudo apt-get install openjdk-7-jre openjdk-7-jdk 安装201M的jdk文件


  2、dpkg -L openjdk-7-jdk |grep 'bin/javac' 获得java的执行路径为/usr/lib/jvm/java-7-openjdk-amd64


  3、配置JAVA_HOME变量


  vim ~/.bashrc

  在文件最开始增加

  JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  !wq后保存退出


  4、使环境变量生效


  source ~/.bashrc

  5、java -version,如果输出版本,则正常安装


  五、安装伪分布式hadoop环境


  1、从http://mirrors.cnnic.cn/apache.hadoop/common中下载hadoop2.7.6.tar.gz

  2、通过rz命令上传至云主机

  3、安装hadoop

  sudo tar -zxf hadoop-2.7.6.tar.gz -C /usr/local

  cd /usr/local/

  sudo mv ./hadoop-2.7.6/ ./hadoop 将文件夹名改名

  sudo chown -R hadoop ./hadoop 修改文件权限为hadoop用户

  4、检查hadoop版本

  cd /usr/local/hadoop

  ./bin/hadoop version


  六、配置伪分布式hadoop环境


  如果是单机环境,不用配置即可使用,但单机环境无法使用hdfs功能,因此我们按照伪分布式进行配置。


  1、配置core-site.xml文件


  cd /usr/local/hadoop/etc/hadoop

  vim core-site.xml

  <configuration>

  <property>

  <name>hadoop.tmp.dir</name>

  <value>file:/usr/local/hadoop/tmp</value>

  <description>Abase for other temporary directories.</description>

  </property>

  <property>

  <name>fs.defaultFS</name>

  <value>hdfs://localhost:9000</value>

  </property>

  </configuration>


  2、配置hdfs-site.xml文件


  <configuration>

  <property>

  <name>dfs.replication</name>

  <value>1</value>

  </property>

  <property>

  <name>dfs.namenode.name.dir</name>

  <value>file:/usr/local/hadoop/tmp/dfs/name</value>

  </property>

  <property>

  <name>dfs.datanode.data.dir</name>

  <value>file:/usr/local/hadoop/tmp/dfs/data</value>

  </property>

  </configuration>


  3、格式化hdfs环境


  cd /usr/local/hadoop

  ./bin/hdfs namenode -format


  4、配置mapreduce的文件


  vim mapred-site.xml

  <configuration>

  <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  </property>

  </configuration>


  5、配置yarn的文件


  vim yarn-site.xml

  <configuration>

  <property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

  </property>

  </configuration>

  ~


  七、启动所有进程


  ./sbin/start-dfs.sh 先启动hdfs

  ./sbin/stop-dfs.sh 先关闭hdfs,以产生secondary进程

  ./sbin/start-dfs.sh 启动hadoop

  ./sbin/start-yarn.sh 启动yarn

  ./sbin/mr-jobhistory-daemon.sh start historyserver 开启历史服务器,才能在web中查看任务运行情况


  以上就是搭建的主要步骤,大数据能够帮助我们制定解决方案提供帮助,学好怎么分析才能够去应用。


相关文章内容简介

1 Windows系统云主机如何磁盘分区?

  采用Windows系统的云主机要进行磁盘分区要怎么操作?流程是不是跟电脑硬盘分区是一样的呢?下面我们一起来看看具体的教程流程,图文具备方便你学习。  磁盘加载:新开的默认云主机只有一个C盘,其它的磁盘空间需要您自己手动加载,详细步骤以下:  1、点“我的电脑”右健-管理,出现如图:    2、选择磁盘管理,出现下图,点下一步    3... [阅读全文]

2 云主机如何用作视频储存?

  不知道大家平时看剧或是看电影是喜欢在线观看还是下载下来看,有时一些网站的视频版权是有时间限制的,而且国外的剧集跟电影如果没有引进电影院的话,我们通常就只能够在网上寻找资源。如果你也是一个剧迷、电影迷,那么会选择将这些视频保留在本地,但是时间久了,资源积累越来越多,内容不够放怎么办?云主机今天就来帮你解决存储空间不... [阅读全文]

推荐阅读

  1. 06

    2019-03

    云服务器是找哪家的好?快速选用云服务器攻略

    大家用到的云服务器是找哪家的?效果怎么样?服务怎么样?怎么挑选服务器的过程中,需要注意问题,或者是要看哪些点?怎么知道对方的价格高不高,靠不靠谱?

  2. 02

    2019-07

    云服务器的带宽怎么选择?

    云服务器的带宽怎么选择?网络上的发展速度越来越快,即便是我们不想要学习网络知识,但是我们的日常工作就是和网络无法分开的,必须要让自己成为全能才行。下面看看云服务器的带宽怎

  3. 17

    2019-09

    云主机的动态安全防护

    部分大型企业比起公有云,更喜欢自己搭建私有云主机平台,这样确实能够享有更多的独立性,但是私有云的安全规划可不能掉以轻心,边界防护、基础防护、增强防护、云化防护这4个层面都

  4. 21

    2019-06

    DDoS攻击服务器的原理以及如何防御

    DDoS攻击服务器的原理以及如何防御,这些是很基本的,如果要维护服务器,必须要知道这些信息的。DDoS攻击,是一种耗尽攻击目标的系统资源,导致攻击目标无法响应正常的服务请求的网络攻

  5. 26

    2020-04

    家用云服务器怎么选择?

    有很多文章都是关于企业如何选择云服务器,那么如果是自己个人需要,想要在家里的网络中配置云服务器,那么怎么选择才是最合适呢?

  6. 29

    2019-08

    9点区分云主机与服务器

     云主机跟服务器,不同的企业是怎么样去进行选择的呢?有的企业在这两种不同类型的产品都还没搞清楚的状态,只是看到其他企业都在用,就跟风去用,这样并不能够发挥出产品的作用。下