首页 > 云计算&大数据 > Hadoop > HadoopApplicationMaster

HadoopApplicationMaster

2992

YARN - ApplicationMaster

单个作业的资源管理和任务监控

具体功能描述：

计算应用的资源需求，资源可以是静态或动态计算的，静态的通常是Client申请时就指定了，动态则需要ApplicationMaster根据应用的运行状态来决定
根据数据来申请对应位置的资源（Data Locality）
向ResourceManager申请资源，与NodeManager交互进行程序的运行和监控，监控申请的资源的使用情况，监控作业进度
跟踪任务状态和进度，定时向ResourceManager发送心跳消息，报告资源的使用情况和应用的进度信息
负责本作业内的任务的容错

ApplicationMaster可以是用任何语言编写的程序，它和ResourceManager和NodeManager之间是通过ProtocolBuf交互，以前是一个全局的JobTracker负责的，现在每个作业都一个，可伸缩性更强，至少不会因为作业太多，造成JobTracker瓶颈。同时将作业的逻辑放到一个独立的ApplicationMaster中，使得灵活性更加高，每个作业都可以有自己的处理方式，不用绑定到MapReduce的处理模式上

如何计算资源需求

通常的MapReduce是根据block数量来定Map和Reduce的计算数量，然后通常的Map或Reduce就占用一个Container

如何发现数据的本地化

数据本地化是通过HDFS的block分片信息获取的

原文链接: https://www.yukx.com/bigdata/article/details/871.html 优科学习网HadoopApplicationMaster

上一篇: HadoopNodeManager

下一篇: HadoopContainer

推荐文章

MD5加密算法

MD5（Message-DigestAlgorithm5）是一种广泛使用的散列函数（哈希函数），由美国密码学家罗纳德·李维斯特（RonaldL.Rivest）在1991年设计。MD5的作用是对任意长度的信息生成一个固定长度（128位，即32个十六进制字符）的“指纹”或“消息摘要”，并且几乎不可能找到
CRC循环冗余校验（Cyclic Redundancy Check，CRC）

循环冗余校验（CyclicRedundancyCheck，CRC）是一种用于检测数据传输和存储过程中发生错误的技术，属于一种基于数学原理的错误检测编码（ErrorDetectionCoding）方法。它通过在原始数据上附加一个固定长度的校验码，使得接收端可以通过同样的计算规则对收到的数据进行校验，确
AES加密算法(对称加密算法)

AES（AdvancedEncryptionStandard）是一种广泛使用的对称密钥加密算法，它是美国国家标准与技术研究院（NIST）于2001年制定的加密标准，用于替代原有的DES（DataEncryptionStandard）。AES算法以其高效性、安全性和可靠性而著称，在众多应用领域中被广泛
RSA非对称加密算法

RSA（Rivest-Shamir-Adleman）是一种广泛应用的非对称加密算法，由RonRivest、AdiShamir和LenAdleman在1977年提出。其安全性基于数学上的大数因子分解难题，即对于足够大的两个素数p和q而言，已知它们的乘积很容易，但想要从这个乘积中恢复原始的素数则异常困难
最小生成树算法

最小生成树（MinimumSpanningTree,MST）是一种图论算法，用于在一个带权重的无向连通图中找到一棵包括所有顶点且总权重尽可能小的树。常见的最小生成树算法有两种：Prim算法和Kruskal算法。Prim算法原理：Prim算法是一种贪心算法，它从图中的一个顶点开始，逐步增加边，每次都添
最短路径算法

关于最短路径算法的Java实现，这里简述一下几种常用的算法及其基本原理，并给出一个Dijkstra算法的基本实现框架。Dijkstra算法（适用于无负权边的图）Dijkstra算法用于寻找图中一个顶点到其他所有顶点的最短路径。它维护了一个距离表，用来存储从源点到各个顶点的已知最短距离，并且每次都会选

学习大纲

一、 Hadoop 教程

1.1 Hadoop介绍

1.2 Hadoop教程

1.3 Hadoop 详细单机安装与配置（Linux）

1.4 Hadoop 启动常见报错异常解决

二、 Hadoop HDFS

2.1 Hadoop写文件

2.2 Hadoop读文件

2.3 Hadoop可靠性

2.4 Hadoop命令工具

三、 Hadoop YARN

3.1 HadoopResourceManager

3.2 HadoopNodeManager

3.3 HadoopApplicationMaster

3.4 HadoopContainer

3.5 HadoopFailover

四、 Hadoop MapReduce

4.1 Hadoop读取数据

4.2 HadoopMapper

4.3 HadoopShuffle

4.4 Hadoop编程

4.6 Hadoop测试

4.7 Hadoop安装

4.8 Hadoop配置

4.9 Hadoop监控

4.10 Hadoop参考

五、 Hadoop 相关教程

5.1 Hadoop拓展教程

优秀文章