Hive简介
2609
2020-08-18 23:10:00
什么是 Hive?
Hive 是基于 Hadoop 的一个数据仓库工具,可以将 HDFS 中结构化的数据文件映射为一张表,并提供类 SQL 查询功能,本质是将 HQL 转化为 mapreduce 程序。
mapreduce 理解
mapreduce 数据以一条记录为单位经过 map 方法映射成 KV,相同的 key 为一组,这一组数据用一次 reduce 方法,在方法内迭代计算一组数据。
Hive 与传统数据库比较
Hive | RDBMS | |
---|---|---|
查询语言 | HQL | SQL |
数据存储 | HDFS | 本地文件或者块设备 |
执行 | MapReduce | Excutor |
执行延迟 | 高 | 低 |
处理数据规模 | 大 | 小 |
索引 | 无 | 有 |
数据更新 | 不支持 | 支持 |
Hive 优缺点
优点:
简单容易上手:提供了类 SQL 查询语言 HQL;
可扩展:为超大数据集设计了计算/扩展能力(MR 作为计算引擎,HDFS 作为存储系统)。一般情况下不需要重启服务 Hive 可以自由的扩展集群的规模;
提供统一的元数据管理 ;
延展性:Hive 支持用户自定义函数,用户可以根据自己的需求来实现自己的函数 ;
容错:良好的容错性,节点出现问题 SQL 仍可完成执行。
缺点:
hive 的 HQL 表达能力有限。迭代式算法无法表达,比如 pagerank;数据挖掘方面不擅长,比如kmeans;
hive 的效率比较低。hive 自动生成的 mapreduce 作业,通常情况下不够智能化;hive 调优比较困难,粒度较粗。
原文链接: https://www.yukx.com/bigdata/article/details/1456.html 优科学习网Hive简介
推荐文章
-
概念介绍BrianKernighan算法可以用于清除二进制数中最右侧的1。BrianKernighan算法的做法是先将当前数减一,然后在与当前数进行按位与运算。x=x&(x-1)利用此算法我们可以统计一个数字的二进制中的1的个数,即一比特数:javapublic int countOnes(int
-
概念介绍BrianKernighan算法可以用于清除二进制数中最右侧的1。BrianKernighan算法的做法是先将当前数减一,然后在与当前数进行按位与运算。x=x&(x-1)利用此算法我们可以统计一个数字的二进制中的1的个数,即一比特数:javapublic int countOnes(int
-
Raft协议分区容忍的一致性协议的核心思想:一致性的保证不一定非要所有节点都保持一致,只要大多数节点更新了,对于整个分布式系统来说数据也是一致性的。Raft协议将概念分解成:Leaderelection、Logreplication、Safety。Raft把一致性协议划分为Leader选举、Memb
-
Paxos、Raft分布式一致性算法应用场景一文讲述了分布式一致性问题与分布式一致性算法的典型应用场景。作为分布式一致性代名词的Paxos算法号称是最难理解的算法。本文试图用通俗易懂的语言讲述Paxos算法。 Paxos算法简介Paxos算法是1990年LeslieLamport在论文《ThePar
-
一、准备工作搭建hadoop伪分布式环境;见hadoop伪分布式搭建下载hive安装包;下载路径http://archive.apache.org/dist/hive/二、设置环境变量将安装包解压到/opt目录下$ tar xvzf apache-hive-0.13.0-bin.tar.gz设置环境
-
什么是Hive?Hive是基于Hadoop的一个数据仓库工具,可以将HDFS中结构化的数据文件映射为一张表,并提供类SQL查询功能,本质是将HQL转化为mapreduce程序。mapreduce理解mapreduce数据以一条记录为单位经过map方法映射成KV,相同的key为一组,这一组数据用一次r