写点什么

OOM

0 人感兴趣 · 18 次引用

  • 最新
  • 推荐

Spark 任务 OOM 问题如何解决?

大家好,我是 V 哥。在实际的业务场景中,Spark任务出现OOM(Out of Memory) 问题通常是由于任务处理的数据量过大、资源分配不合理或者代码存在性能瓶颈等原因造成的。针对不同的业务场景和原因,可以从以下几个方面进行优化和解决。

揭露 FileSystem 引起的线上 JVM 内存溢出问题

本文主要介绍了由FileSystem类引起的一次线上内存泄漏导致内存溢出的问题分析解决全过程。

https://static001.geekbang.org/infoq/7c/7c6132d8adac4c6fd8a2c13dd03bf916.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Easysearch 内核完善之 OOM 内存溢出优化案例一则

最近某客户在使用 Easysearch 做聚合时,报出 OOM 导致掉节点的问题,当时直接让客户试着调整 indices.breaker.request.limit ,但是不起作用,于是又看了下 Easysearch 在断路器相关的代码,并自己测试了下。

https://static001.geekbang.org/infoq/39/3915d71fbc3531097ec3409b1d504e45.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

因为内存溢出,我差点被优化

用户头像
高端章鱼哥
2023-09-22

我们都知道,在写代码的过程中,业务逻辑很大程度上决定了你对业务的理解,但是解决问题,却是你提升比较关键的地方,而我,却差点因为这个内存溢出,把自己给干优化掉。

https://static001.geekbang.org/infoq/8d/8d73f9da82b6d97f3d520df85ca3d93a.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

这 8 类问题,SysOM 2.0 OOM 诊断助你快速定位异常 | 龙蜥技术

OOM 主要可以分为整机和 cgroup 级别的异常,SysOM 中的 OOM 诊断可以快速准确的定位到系统发生的 OOM 异常,从而用户可以根据不同的原因应用不同的方法解决 OOM。

https://static001.geekbang.org/infoq/fb/fb537cfdfbd23ddcda7723c18079bc3f.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

【深度挖掘 RocketMQ 底层源码】「底层问题分析系列」深度挖掘 RocketMQ 底层那些导致消息丢失的汇总盘点透析([REJECTREQUEST]system busy, start flow control for a while)

用户头像
洛神灬殇
2023-03-09

最近因为项目的并发量以及数据的吞吐处理量越来越高,我们的RocketMQ的处理数据的能力,已经慢慢成为了我们的问题和瓶颈了,频繁会出现OOM的瓶颈问题,当然内存的问题我们可以扩充资源和调整配额就可以解决了,但是又出现了其他可怕的问题,消息会出现丢失的

一次线上 OOM 问题分析

用户头像
艾小仙
2023-02-28

线上某个服务有接口非常慢,通过监控链路查看发现,中间的 GAP 时间非常大,实际接口并没有消耗很多时间,并且在那段时间里有很多这样的请求。

https://static001.geekbang.org/infoq/ea/eaa4b9ff3ed5713babc5e638aefe7013.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

开源一夏 |为什么线程池不允许使用 Executors 去创建?

Executors Executors存在什么问题 Executors为什么会OOM 创建线程池的正确姿势

https://static001.geekbang.org/infoq/f5/f52fce13288a7e0cfd2d163c9fd1eaa3.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

java.lang.OutOfMemoryError:GC overhead limit exceeded

用户头像
看山
2021-10-20

简单来说,java.lang.OutOfMemoryError: GC overhead limit exceeded发生的原因是,当前已经没有可用内存,经过多次GC之后仍然没能有效释放内存。

https://static001.geekbang.org/infoq/41/41145f94f0f5aceb3141a4b9fadfec29.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

记一次 JVM OOM 实战优化

用户头像
AI乔治
2021-01-08

刚接手的服务,正常稳定运行了很长一段时间,在大家伙收拾东西准备回家过年时,突然就抽风了。

一个神奇的 bug:OOM?优雅终止线程?系统内存占用较高?

摘要:该项目是DAYU平台的数据开发(DLF),数据开发中一个重要的功能就是ETL(数据清洗)。ETL由源端到目的端,中间的业务逻辑一般由用户自己编写的SQL模板实现,velocity是其中涉及的一种模板语言。

https://static001.geekbang.org/infoq/27/273f0cb624334013cd507fdf855c1860.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

JVM Metaspace 内存溢出排查与总结

用户头像
Java老k
2020-11-24

前段时间公司线上环境的一个Java应用因为OOM的异常报警,导致整个服务不可用被拉出集群。 Metaspace元空间主要是存储类的元数据信息,我们的应用里加载的各种类描述信息,比如类名、属性、方法、访问限制等,按照一定的结构存储在Metaspace里。

https://static001.geekbang.org/infoq/08/08d180c97e0530b5a155ff0701958ec6.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

首次排查 OOM 实录

用户头像
AI乔治
2020-11-21

本篇文章的落成更像是一篇笔记,而不是博客。因为在一年的工作后,首次碰上了 OOM 问题,虽然导致的原因比较简单,但也算是值得纪念的,哈哈。

iOS 性能优化实践:头条抖音如何实现 OOM 崩溃率下降 50%+

用户头像
iOSer
2020-10-21

iOS OOM 崩溃在生产环境中的归因一直是困扰业界已久的疑难问题,字节跳动旗下的头条、抖音等产品也面临同样的问题。

https://static001.geekbang.org/infoq/8a/8ac0e765f91ec3dddf82b42c2b81df21.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

如何快速制造 OOM

用户头像
Since
2020-09-25

JVM提供了发生OOM时自动保存dump的参数。

https://static001.geekbang.org/infoq/f5/f5752b28c003024718d92f2ebd87f071.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Java 常见的几种 OOM

用户头像
hepingfly
2020-08-09

上面这种 OOM 比较好理解,在 main 方法中循环调用 main 方法,循环产生的大量形参都会在栈空间进行创建,当超过栈空间的大小,就会导致栈空间溢出,发生 OOM。

一篇文章教你服务器 OOM 后如何快速定位处理问题

用户头像
2020-04-30

一篇文章教你服务器OOM后如何快速定位处理问题

OOM_OOM技术文章_InfoQ写作社区