您的位置: 首页 > 新闻资讯 > 高质量代理 > 正文

在云主机搭建hadoop环境

发布时间:2019年09月26日 作者: 来源:互联网

  要想学好大数据,不仅要懂得如何分析数据,而且更要懂得处理数据的过程,也就是说各种的分析工具,我们也需要去学习使用。下面分享一个用云主机搭建伪分布式hadoop环境的操作教程给大家。


在云主机搭建hadoop环境


  今天我们用单台云主机(或自建vmware虚机)进行Hadoop所有组件的实际应用,再次加深大数据的技术底蕴。


  一、我们搭建伪分布式的hadoop环境


  所谓伪分布式,即hadoop之dfs的namenode、datanode均在一台云主机中。今天我们用ubuntu 14.04进行测试,主机配置为2cpu、2GB内存、40GB硬盘,具有弹性IP配置。


  二、为便于操作,新建hadoop帐户


  1、sudo useradd -m hadoop -s /bin/bash


  这条命令创建hadoop帐户,并创建/home/hadoop目录,并使用/bin/bash作为Shell


  2、sudo passwd hadoop


  这条命令为hadoop帐户设置密码


  3、sudo adduser hadoop sudo


  为hadoop用户增加管理员权限,方便将来的部署


  三、为便于操作,实现master主机无密登陆


  1、sudo apt-get update


  升级系统,以便为将来的java jdk安装作准备


  2、为本机生成免密码登录,为hadoop作准备


  ssh localhost 登录成功后退出

  cd ~/.ssh/

  ssh-keygen -t rsa

  cat ./id_rsa.pub>>./authorized_keys

  ssh localhost 如果正常,将实现免密登陆


  四、安装java环境


  1、sudo apt-get install openjdk-7-jre openjdk-7-jdk 安装201M的jdk文件


  2、dpkg -L openjdk-7-jdk |grep 'bin/javac' 获得java的执行路径为/usr/lib/jvm/java-7-openjdk-amd64


  3、配置JAVA_HOME变量


  vim ~/.bashrc

  在文件最开始增加

  JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  !wq后保存退出


  4、使环境变量生效


  source ~/.bashrc

  5、java -version,如果输出版本,则正常安装


  五、安装伪分布式hadoop环境


  1、从http://mirrors.cnnic.cn/apache.hadoop/common中下载hadoop2.7.6.tar.gz

  2、通过rz命令上传至云主机

  3、安装hadoop

  sudo tar -zxf hadoop-2.7.6.tar.gz -C /usr/local

  cd /usr/local/

  sudo mv ./hadoop-2.7.6/ ./hadoop 将文件夹名改名

  sudo chown -R hadoop ./hadoop 修改文件权限为hadoop用户

  4、检查hadoop版本

  cd /usr/local/hadoop

  ./bin/hadoop version


  六、配置伪分布式hadoop环境


  如果是单机环境,不用配置即可使用,但单机环境无法使用hdfs功能,因此我们按照伪分布式进行配置。


  1、配置core-site.xml文件


  cd /usr/local/hadoop/etc/hadoop

  vim core-site.xml

  <configuration>

  <property>

  <name>hadoop.tmp.dir</name>

  <value>file:/usr/local/hadoop/tmp</value>

  <description>Abase for other temporary directories.</description>

  </property>

  <property>

  <name>fs.defaultFS</name>

  <value>hdfs://localhost:9000</value>

  </property>

  </configuration>


  2、配置hdfs-site.xml文件


  <configuration>

  <property>

  <name>dfs.replication</name>

  <value>1</value>

  </property>

  <property>

  <name>dfs.namenode.name.dir</name>

  <value>file:/usr/local/hadoop/tmp/dfs/name</value>

  </property>

  <property>

  <name>dfs.datanode.data.dir</name>

  <value>file:/usr/local/hadoop/tmp/dfs/data</value>

  </property>

  </configuration>


  3、格式化hdfs环境


  cd /usr/local/hadoop

  ./bin/hdfs namenode -format


  4、配置mapreduce的文件


  vim mapred-site.xml

  <configuration>

  <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  </property>

  </configuration>


  5、配置yarn的文件


  vim yarn-site.xml

  <configuration>

  <property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

  </property>

  </configuration>

  ~


  七、启动所有进程


  ./sbin/start-dfs.sh 先启动hdfs

  ./sbin/stop-dfs.sh 先关闭hdfs,以产生secondary进程

  ./sbin/start-dfs.sh 启动hadoop

  ./sbin/start-yarn.sh 启动yarn

  ./sbin/mr-jobhistory-daemon.sh start historyserver 开启历史服务器,才能在web中查看任务运行情况


  以上就是搭建的主要步骤,大数据能够帮助我们制定解决方案提供帮助,学好怎么分析才能够去应用。


相关文章内容简介

1 Windows系统云主机如何磁盘分区?

  采用Windows系统的云主机要进行磁盘分区要怎么操作?流程是不是跟电脑硬盘分区是一样的呢?下面我们一起来看看具体的教程流程,图文具备方便你学习。  磁盘加载:新开的默认云主机只有一个C盘,其它的磁盘空间需要您自己手动加载,详细步骤以下:  1、点“我的电脑”右健-管理,出现如图:    2、选择磁盘管理,出现下图,点下一步    3... [阅读全文]

2 云主机如何用作视频储存?

  不知道大家平时看剧或是看电影是喜欢在线观看还是下载下来看,有时一些网站的视频版权是有时间限制的,而且国外的剧集跟电影如果没有引进电影院的话,我们通常就只能够在网上寻找资源。如果你也是一个剧迷、电影迷,那么会选择将这些视频保留在本地,但是时间久了,资源积累越来越多,内容不够放怎么办?云主机今天就来帮你解决存储空间不... [阅读全文]

推荐阅读

  1. 17

    2019-09

    云主机的存储安全如何保障?

    大数据时代,信息是非常宝贵的财富。通过信息的采集与分析,企业可以研发出用户需要的产品、服务,这样能够保证企业能够一直向上发展。所以,对于储物这些数据的服务器,它对数据的安

  2. 17

    2019-04

    哪些公司使用云服务器比较好?

    哪些公司使用云服务器比较好?对于企业级用户,云服务器这种部署模式(pattern),比传统方式更加高效、可靠、便捷,降低(reduce)了企业的成本和运维难度。但是,企业类型、业务属性(property)

  3. 18

    2019-04

    与VPS相比较,云主机有什么优势?

    与VPS相比较,云主机有什么优势?VPS及云主机的定义分别是什么?vps云主机的特点主要是什么?与VPS进行比较,云主机的具体优势包括哪些?都是诸多人士,较为关心的问题所在。其实VPS是较为常见

  4. 08

    2019-05

    云计算和云服务器主要是指什么?

    云计算和云服务器主要是指什么?我们的目标(cause)之一是解释技术(Technology)术语,让你知道如今的IT世界发生了什么。在这篇文章中,我们将讨论云计算(calculate),帮助并参考其他各种技术人

  5. 23

    2019-04

    电商企业租用服务器的几个技巧分享!

    电商企业租用服务器的几个技巧分享!互联网时代,做电商没有自己的网站怎么能行呢?如果要做网站,那么必然是要租用服务器的,在租用服务器上,大家有没有什么技巧分享下呢?

  6. 09

    2020-03

    使用云服务器如何提高文件的安全性?

    其实现在服务器上云已经不是什么难事了,只要向专业的云服务商家进行租用或是购买,就可以完成一系列的云服务器使用流程。但是,其中安全问题不能够忽视。