登录 |  注册
首页 >  面试合集 >  Java面试宝典(第三部分·高级) >  使用 kafka 集群注意事项-常见的坑

使用 kafka 集群注意事项-常见的坑

使用 kafka 集群需要注意

集群的数量不是越多越好,最好不要超过 7 个,因为节点越多,消息复制需要的时间就越长,整个群组的吞吐量就越低。

集群数量最好是单数,因为超过一半故障集群就不能用了,设置为单数容错率更高。


配置好zookeeper之后,关闭防火墙

# systemctl stop firewalld.service        //关闭firewall
#systemctl disable firewalls.service          //开机禁用
#firewall-cmd  --state                   //查看防火墙的状态(关闭是not    running)

注:

2888端口号是zookeeper服务之间通信的端口。

3888端口是zookeeper与其他应用程序通信的端口。

2181端口是zookeeper客户端请求接口。

防火墙必须放开这三个端口,zk才能正常启动

启动zk服务

在bin目录下,三台依次启动

# sh zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/260206/software/zookeeper/zookeeper-3.4.13/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

查看状态

# sh zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/260206/software/zookeeper/zookeeper-3.4.13/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

Error contacting service. It is probably not running.

zookeeper无法正常启动

首先,zookeeper无法启动的几种原因:

  1. 防火墙未关闭,但按照上文查看防火墙状态,显示的是not running,已关闭

  2. zookeeper的端口被占用,打开终端,输入# netstat -apn | grep 2181,如无输出,则未被占用,若有输出,则可以看到占用端口的进程号,kill -9 +进程号,即可。

  3. zookeeper_server.pid中的内容没有被清空。在你zookeeper的conf目录下,找到zoo.cfg文件,查看此文件中你配置的dataDir的路径,将里面zookeeper_server.pid清空即可。

  4. 查看你的zookeeper文件夹的conf目录下是否有zoo.cfg和zoo_sample.cfg,(一般zookeeper下载下来的压缩包解压后只有zoo_sample.cfg,一般都重命名,mv命令就可以),但有些可能是将zoo_sample.cfg文件复制了一份,复件名为zoo.cfg,所以两个文件会同时存在,而两个文件是不能同时存在的,且默认读取的是zoo.cfg,所以要删掉zoo_sample.cfg。

  5. data下的myid必须是和zoo.cfg文件下的服务名是一一对应的。

如果以上都解决了,启动还是会报错。那么去查看解压之后文件夹bin目录下的zookeeper.out文件,查看执行日志,能够更清楚的知道错在哪里。

kafka.jpg

踩的坑

开启kafka时,

1、报如图错误:

kafka.jpg

查看了好几次,zookeeper的zoo.cfg配置文件没有问题,kafka的server.properties文件也按照步骤配置,并没有发现问题,网上搜的办法也试了,还是没有办法解决这个错误

解决办法

  1. 在kafka的配置文件server.properties的zookeeper.connect后前几个ip:2181的后面加上127.0.0.1:2181;

  2. 配置主机名(hostname):在最后面加上你的三台虚拟机的ip与主机名

kafka.jpg

2、权限不够,无法开启,报错如图

kafka.jpg

解决办法

查看报错信息中没有权限的文件目录,发现报错文件的用户名与用户组不是root,但改成root后,普通用户状态下查看kafka的开启状态,kafka是未开启状态,root用户下是如下状态:

kafka.png

利用如下方法将kafka的安装目录的属组改为普通用户即可。

用来更改某个目录或文件的用户名和用户组的命令-chown

查看属组用命令:ll

chown 用户名:用户组文件路径(绝对路径/相对路径)

chown root:root /temp/logs

就是把temp下的logs的用户名和用户组改成root和root(只修改了logs的属组).

chown -R root:root /temp/logs

就是把temp下的logs下的所有文件的属组都改成root和root。

上一篇: 什么情况会导致 kafka 运行变慢?
下一篇: zookeeper是什么?
推荐文章
  • 在HTML中,如果你想让一个输入框(input元素)不可编辑,你可以通过设置其readonly属性来实现。示例如下:input type="text" value="此处内容不可编辑" readonly在上述代码中,readonly属性使得用户无法修改输入框中的内容。另外,如果你希望输入框完全不可交
  • ASP.NET教程ASP.NET又称为ASP+,基于.NETFramework的Web开发平台,是微软公司推出的新一代脚本语言。ASP.NET是一个使用HTML、CSS、JavaScript和服务器脚本创建网页和网站的开发框架。ASP.NET支持三种不一样的开发模式:WebPages(Web页面)、
  • C# 判断判断结构要求程序员指定一个或多个要评估或测试的条件,以及条件为真时要执行的语句(必需的)和条件为假时要执行的语句(可选的)。下面是大多数编程语言中典型的判断结构的通常形式:判断语句C#提供了以下类型的判断语句。点击链接查看每个语句的细节。语句描述if语句一个 if语句 由一个布尔表达式后跟
  • C#循环有的时候,可能需要多次执行同一块代码。通常情况下,语句是顺序执行的:函数中的第一个语句先执行,接着是第二个语句,依此类推。编程语言提供了允许更为复杂的执行路径的多种控制结构。循环语句允许我们多次执行一个语句或语句组,下面是大多数编程语言中循环语句的通常形式:循环类型C#提供了以下几种循环类型
  • C#数组(Array)数组是一个存储相同类型元素的固定大小的顺序集合。数组是用来存储数据的集合,一般认为数组是一个同一类型变量的集合。声明数组变量并不是声明number0、number1、...、number99一个个单独的变量,而是声明一个就像numbers这样的变量,然后使用numbers[0]
  • ASP.NET是一个由微软公司开发的用于构建Web应用程序的框架,它是.NETFramework的一部分。它提供了一种模型-视图-控制器(MVC)架构、Web表单以及最新的ASP.NETCore中的RazorPages等多种开发模式,可以用来创建动态网页和Web服务。以下是一些基础的ASP.NET编
学习大纲