登录 |  注册
首页 >  云计算&大数据 >  Hadoop >  Hadoop 详细单机安装与配置(Linux)

Hadoop 详细单机安装与配置(Linux)

hadoop作用.jpg

1.在lunix系统下解压hadoop压缩包到指定文件夹:

#tar -zxvf hadoop-2.6.5.tar.gz -C /usr/Hadoop/

2.配置hadoop的配置文件:

(1)配置Hadoop的环境变量

#vim hadoop-env.sh

修改环境变量JAVA_HOME为具体路径:

export JAVA_HOME=${JAVA_HOME}

修改为JDK的路径

export JAVA_HOME=/usr/java/jdk1.8.0_121


(2)修改#vim core-site.xml

<configuration>
  <!—用来指定HDFS中主节点的地址-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://21.10.156.1:9000</value>
  </property>
  <!—用来指定hadoop运行时产生文件的存放目录-->
  <property>
    <name>hadoop.tmp.dir </name>
    <value>/usr/Hadoop/hadoop-2.6.5/tmp</value>
  </property>
</configuration>

(3)配置hdfs-site.xml

<!—用来指定HDFS保存数据副本的数量,有几个节点就保存几份数据-->
<configuration>
  <property> 
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

(4)重命名mapred-site.xml.template

#mv mapred-site.xml.template mapred-site.xml

(5)编辑该文件# vim mapred-site.xml

<!—告知Hadoop,mapreduce将运行在YARN上-->
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

(6)编辑该文件# vim yarn-site.xml

<configuration>
    <!—使得NodeManager获取数据的方式是shuffle 的方式-->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <!—这个是用来指定YARN中最主要文件resourcemanager 的地址,value值是主机名-->
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>izuf6hjthe58i89mrrz8vnz</value>
    </property>
</configuration>

3.    将hadoop添加到环境变量,使得任何目录下都可以运行hadoop

(1)进入lunix系统的配置路径的文件中# vim /etc/profile

(2)修改路径:

export HADOOP_HOME=/usr/hadoop/hadoop-2.6.5
export PATH=$PASH:$JAVA_HOME/bin:$HADOOP_HOE/bin:$HADOOP_HOE/sbin

(3)保存修改并重置刷新配置# source /etc/profile

4.初始化HDFS(格式化hadoop的文件系统)

(1)先格式化HDFS

#hdfs namenode -format

当看到

successfully formatted.

表示格式化成功

5.启动所有的:在Hadoop的安装包里的sbin文件夹中启动:

#./start-all.sh

或者可以用以下两个脚本分别启动hdfs和yarn:

#./start-dfs.sh
#./start-yarn.sh

6.查看hadoop是否成功

#jps

如下显示表示已经成功

[root@localhost sbin]#jps
41522 SecondaryNameNode
43023 NodeManager
43234 NameNode
43203 ResourceManager
43829 Jps
41929 DataNode



上一篇: Hadoop教程
下一篇: Hadoop 启动常见报错异常解决
推荐文章
  • MD5(Message-DigestAlgorithm5)是一种广泛使用的散列函数(哈希函数),由美国密码学家罗纳德·李维斯特(RonaldL.Rivest)在1991年设计。MD5的作用是对任意长度的信息生成一个固定长度(128位,即32个十六进制字符)的“指纹”或“消息摘要”,并且几乎不可能找到
  • 循环冗余校验(CyclicRedundancyCheck,CRC)是一种用于检测数据传输和存储过程中发生错误的技术,属于一种基于数学原理的错误检测编码(ErrorDetectionCoding)方法。它通过在原始数据上附加一个固定长度的校验码,使得接收端可以通过同样的计算规则对收到的数据进行校验,确
  • AES(AdvancedEncryptionStandard)是一种广泛使用的对称密钥加密算法,它是美国国家标准与技术研究院(NIST)于2001年制定的加密标准,用于替代原有的DES(DataEncryptionStandard)。AES算法以其高效性、安全性和可靠性而著称,在众多应用领域中被广泛
  • RSA(Rivest-Shamir-Adleman)是一种广泛应用的非对称加密算法,由RonRivest、AdiShamir和LenAdleman在1977年提出。其安全性基于数学上的大数因子分解难题,即对于足够大的两个素数p和q而言,已知它们的乘积很容易,但想要从这个乘积中恢复原始的素数则异常困难
  • 最小生成树(MinimumSpanningTree,MST)是一种图论算法,用于在一个带权重的无向连通图中找到一棵包括所有顶点且总权重尽可能小的树。常见的最小生成树算法有两种:Prim算法和Kruskal算法。Prim算法原理:Prim算法是一种贪心算法,它从图中的一个顶点开始,逐步增加边,每次都添
  • 关于最短路径算法的Java实现,这里简述一下几种常用的算法及其基本原理,并给出一个Dijkstra算法的基本实现框架。Dijkstra算法(适用于无负权边的图)Dijkstra算法用于寻找图中一个顶点到其他所有顶点的最短路径。它维护了一个距离表,用来存储从源点到各个顶点的已知最短距离,并且每次都会选
学习大纲