登录 |  注册
首页 >  架构·案例 >  架构师学习之路-Java开发实战学习笔记 >  内存泄漏情况和示例 ( 出现FullGC内存泄漏问题排查和分析)

内存泄漏情况和示例 ( 出现FullGC内存泄漏问题排查和分析)

导读:

老是出现堆内存不足,大量Full GC深知出现内存溢出应该怎么办,怎样通过排查找到源头分析来解决问题?

正文:

我们有个新服务上线运行一段时间后,老是出现堆内存不足,大量出现 Full GC,有些实例甚至出现内存溢出错误:

java.lang.OutOfMemoryError: Java heap space

但是为什么会内存溢出呢?按说访问量也不是很高,于是进行了下面的排查和分析。

1、怀疑内存泄漏

进入 APM 监控系统查看实例内存情况,把时间线拉长到一天,可以看到内存有缓慢上升趋势,初步怀疑有内存泄漏。

gc.jpg

2、Heap Dump

获取到机器ip,联系运维人员去机器上把堆dump下来,dump命令:

/xxx/jdk1.8.0_212/bin/jmap -dump:live,format=b,file=/xxx/xxx.hprof 进程号

将堆dump文件 Xxx.hprof 下载到本地。

3、下载Heap Dump分析工具

常用的分析工具有MAT和JProfile,本文以MAT工具为示例进行分析。

注意:如果你本地安装的是JDK11 ,下载最新的即可;如果你本地安装的是JDK8,建议下载1.9.2版本。

4、将Dump文件导入MAT工具

MAT是eclipse的一个插件,免安装,双击打开即可使用。打开下载好的dump文件

mat.jpg

5、分析Dump文件

打开内存泄漏怀疑分析报告,可以看到 SessionFactoryImpl 这个对象使用了 149M内存,占总内存的25%,这肯定不正常。SessionFactoryImpl 这个类是跟数据库相关,服务代码中使用了JPA作为持久层框架,应该是跟JPA相关,继续往下分析。

mat2.jpg

我们打开内存树,往下挖,可以看到 QueryPlanCache 这个对象占用内存比较大。

mat3.jpg

QueryPlanCache 表面的意思是:查询计划缓存。用google查一下具体含义。

mat4.jpg

简单来说Hibernate会缓存sql语句以减少重复编译,便于直接命中提高效率。在使用 SQL in 的时候,如果 in 后的参数不同,hibernate会把其当成不同的sql进行缓存,从而缓存大量的sql。

mat5.jpg

缓存的大小是多少?查了一下官方文档,如果不配置,这个缓存默认最大值为2048 。

mat6.jpg

Stack Overflow上也有用户反馈这个问题:https://stackoverflow.com/questions/31557076/spring-hibernate-query-plan-cache-memory-usage

常见的几种内存泄漏情况和示例(一次大量出现FullGC内存泄漏问题及内存溢出错误排查和分析)(8)

7、分析结论

drawio服务里面有大量的 sql in 语句,in 后面的参数不一样造成Hibernate缓存了大量SQL语句,占用大量的堆内存。

8、解决措施

(1)添加配置参数,限制缓存大小

mat11.jpg

参数解释:https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#configurations-query

(2)提高 sql in 的缓存效率

mat22.jpg

参数解释:https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#configurations-query

上一篇: Java强软弱虚四种引用,看完不再犯迷糊
下一篇: MAT如何查看老年代对象-内存泄漏分析
推荐文章
  • 随着深度学习在图像、语言、广告点击率预估等各个领域不断发展,很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面,新模型也是层出不穷:WideandDeep、DeepCrossNetwork、DeepFM、xDeepFM,美团很多篇深度学习博客也做了详细的介绍。但是,当
  • 1.背景搜索优化问题,是个典型的AI应用问题,而AI应用问题首先是个系统问题。经历近10年的技术积累和沉淀,美团搜索系统架构从传统检索引擎升级转变为AI搜索引擎。当前,美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线AI服务及实验平台三大体系构成。在AI服务及实验平台中,模型训练平台
  • 行业算法版简介OpenSearch-行业算法版是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台,目前为包括淘宝、天猫在内的阿里集团核心业务提供搜索服务支持。通过内置各行业的查询语义理解、机器学习排序算法等能力,提供充分开放的引擎能力,助力开发者快速搭建智能搜索服务。Ope
  • 一.概述我们在考虑MySQL数据库的高可用的架构时,主要要考虑如下几方面:如果数据库发生了宕机或者意外中断等故障,能尽快恢复数据库的可用性,尽可能的减少停机时间,保证业务不会因为数据库的故障而中断。用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。当业务发生数据库切换时
  • 一步一步推导出Mysql索引的底层数据结构。  Mysql作为互联网中非常热门的数据库,其底层的存储引擎和数据检索引擎的设计非常重要,尤其是Mysql数据的存储形式以及索引的设计,决定了Mysql整体的数据检索性能。我们知道,索引的作用是做数据的快速检索,而快速检索的实现的本质是数据结构。通过不同数
  • 如何看到老年代、新生代的对象有哪些呢?MAT是分析dump的神器(顺便吐槽:当然也是吃内存卡机器的怪兽)。通常我们会在出现fullGC时dump下堆内存,然后分析FullGC的原因。那如何获知整个堆内存里,有哪些对象在新生代、哪些在老年代呢?一个典型的应用场景是:出现了耗时超预期的YoungGC,我
学习大纲