登录 |  注册
首页 >  面试合集 >  Java面试宝典(第三部分·高级) >  kafka 可以脱离 zookeeper 单独使用吗?为什么?

kafka 可以脱离 zookeeper 单独使用吗?为什么?

kafka 可以脱离 zookeeper 单独使用吗?为什么?

不可以,kafka必须要依赖一个zookeeper集群才能运行。kafka系群里面各个broker都是通过zookeeper来同步zhuantopic列表以及其shu它broker列表的,一旦连不上zookeeper,kafka也就无法工作。


1. Zookeeper和Kafka各自的基本功能

Zookeeper在分布式环境中的管理和协调方面可以充当杠杆,以管理更大的主机集。在大型集群中这是非常棘手且复杂的问题,因为连接了更多数量的节点,并且需要按需水平扩展。例如,一个Hadoop集群一旦数据量增加,新的DataNodes插件就会插入,需要在数据块上进行更多的复制的等等。

除了Hadoop,它还用于其他Apache项目中,例如HBase,Solr,CXF DOSGi等。Zookeeper在分布式协调服务中起着关键作用,并被用于存储共享配置、选举主节点等用例中。为了实现同步、序列化和协调,Zookeeper将分布式系统作为一个单元保持在一起以简化操作。Zookeeper负责解决竞赛情况、死锁、分布式应用程序中的部分故障问题。Zookeeper的序列化使用同步属性消除了集群中的争用条件,随后便消除了死锁问题。

Kafka是一个企业信息系统,具有构建用于实时流传输的数据管道功能。Apache Kafka起源于LinkedIn,后来在2011年成为开源Apache项目。此外,Kafka以容错的方式存储记录数据流。一般来说,没有Kafka任何与大数据相关的项目都无法完成,因为Kafka通过分布式发布订阅模型来处理HDFS中的数据摄取。

Kafka在一个或多个服务器上作为群集运行,并将数据流存储在主题中,然后最终通过Flume或其他自定义应用程序被HDFS使用。通过结合Kafka的三个主要功能,即消息系统、存储系统和流处理,将其指定为分布式流平台。

2.为什么Kafka目前没有Zookeeper不能独立工作?

经纪人是Kafka集群的骨干,并负责从生产者到消费者的接收,存储和发送消息。它是Kafka集群中的一个实例。简而言之,经纪人组通过直接或间接共享信息来创建Kafka集群。但是如果没有Zookeeper,群集中的每个代理都无法执行此操作。此外,生产者还利用Zookeeper来查找经纪人的信息,并将其发布到各处。

同样,消费者也需要经纪人的消费信息。实际上,位于代理内部的主题接受生产者和消费者从中读取的消息。Kafka将基本元数据存储在Zookeeper中,例如主题、Kafka集群实例列表、消息使用者等。

kafka.jpg

Zookeeper成为Kafka更新集群中拓扑更改的领导者。根据Zookeeper提供的通知,生产者和消费者发现整个Kafka群集中是否存在任何新代理或代理失败。随后,生产者和消费者决定与哪些经纪人进行通信以开始他们的任务。因此,如果我们在没有Zookeeper的情况下安装和配置Kafka,Kafka的任何功能都不会激活。因此,最终我们可以说Kafka是Zookeeper的寄生虫。

3.Kafka与Zookeeper的陷阱

Zookeeper完全是一个独立的系统,具有自己的配置文件语法、管理工具和部署模式。要管理和部署两个独立的分布式系统,并最终启动和运行Kafka集群,必须具有丰富的经验。同时管理两个系统的人员应具有足够的故障排除信息,以找出两个系统中的问题。

可能会使Zookeeper的配置文件出错,从而导致Kafka群集崩溃。因此,在没有Zookeeper的情况下拥有Kafka管理专业知识将无法帮助你摆脱危机,尤其是在Zookeeper在完全隔离的环境(云)上运行的生产环境中。即使设置和配置用于学习和研发的单节点Kafka集群,我们也离不开Zookeeper。

4.没有Zookeeper的Kafka拟议高级架构

在Kafka群集中引入控制器仲裁将取代Zookeeper的依赖关系。目前,Kafka集群中的一个代理通过担负管理分区、副本、管理任务(如重新分配分区)的职责而充当控制器。在提出的体系结构中,运行控制器的节点将承担管理元数据日志的额外责任。

kafka.jpg

Kafka与Zookeeper解体

kafka.jpg

Kafka与Zookeeper解体

这些日志将包含有关群集元数据中每个更改的信息。当前,Zookeeper存储从主题、分区、ISR、配置开始的所有内容。通过利用Raft算法并且不依赖任何外部系统,控制器节点将在他们之间选择一个领导者。元数据日志的领导者将被表示为活动控制器。

<<上一课程
下一课程>>
推荐文章
  • 1.前言本小节将带领大家学习一下如何安装Vue。包括独立版本、CDN、NPM、CLI工具四种不同的安装方法。2.独立版本我们可以在Vue.js的官网上直接下载vue.min.js并用script标签引入。下载Vue.js安装步骤:打开Vue.js下载地址并拷贝所有代码。创建vue.min.js文件,
  • 大家好,今天我们开始一个新专题—Vue。这个专题我们重点针对如何使用Vue开发项目。本文我们主要先介绍一下Vue是什么?1.什么是Vue什么是Vue呢?Vue(读音/vjuː/,类似于view)是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是,Vue被设计为可以自底向上逐层应用。Vue的核
  • 什么是高并发?高并发(HighConcurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间(ResponseTime),吞吐量(Throughput),每秒查询率QPS(QueryPerSecond)
  • C++有用的资源以下资源包含了C++有关的网站、书籍和文章。请使用它们来进一步学习C++的知识。C++有用的网站C++ProgrammingLanguageTutorials−C++编程语言教程。C++Programming−这本书涵盖了C++语言编程、软件交互设计、C++语言的现实生活应用。C++
  • C++Web编程什么是CGI?公共网关接口(CGI),是一套标准,定义了信息是如何在Web服务器和客户端脚本之间进行交换的。CGI规范目前是由NCSA维护的,NCSA定义CGI如下:公共网关接口(CGI),是一种用于外部网关程序与信息服务器(如HTTP服务器)对接的接口标准。目前的版本是CGI/1.
  • C++异常处理异常是程序在执行期间产生的问题。C++异常是指在程序运行时发生的特殊情况,比如尝试除以零的操作。异常提供了一种转移程序控制权的方式。C++异常处理涉及到三个关键字:try、catch、throw。throw:当问题出现时,程序会抛出一个异常。这是通过使用throw关键字来完成的。cat
学习大纲