Kivi's Blog

2021-11-09 15:01:04 警告，
应用：xxx，
自定义监控：exception.write.kafka，
告警内容："消费本地失败消息写入Kafka失败java.lang.NoClassDefFoundError: net/jpountz/lz4/LZ4Factory"，
报警主机：xxx.xxx.xxx.xxx

2021-09-15发表TroubleShooting / 流程分析7 分钟读完 (大约995个字)

commons-io依赖冲突

一、问题描述

昨日夜间接到研发反馈，EDI商家新上线后启动异常，需要协助排查，异常信息为：java.lang.NoSuchMethodError: org.apache.commons.io.IOUtils.toString(Ljava/io/InputStream;Ljava/nio/charset/Charset;)Ljava/lang/String;

二、问题排查

2021-07-22发表TroubleShooting / 流程分析6 分钟读完 (大约922个字)

wsdl获取逻辑修改事故的复盘

一、事故描述

EDI在对SOAP服务进行调用的时候会解析商家的wsdl。

初始逻辑是只获取http协议的地址，但是新上线的商家A的协议为https，导致无法获取请求地址，访问商家异常。

2021-07-19发表TroubleShooting / 流程分析4 分钟读完 (大约669个字)

内存飚高排查（一）

一、背景描述

今日中午收到告警，EDI某应用集群的个别容器出现堆内存使用率97%告警，且持续数小时没停止。

二、排查路径

2021-06-02发表TroubleShooting / 流程分析12 分钟读完 (大约1758个字)

CPU飚高排查

一、背景

近日发现EDI线上某应用为618新扩容的非公有云机器CPU经常99%，频繁触发机器CPU告警。该集群的其他机器则CPU使用率在10%以下。

二、排查步骤

2021-05-22发表TroubleShooting / 流程分析3 分钟读完 (大约386个字)

MQ消费出现陡增和断崖

一、问题背景

今日EDI日请求剧增，日产日志消息也随之倍增，然后就频繁收到MQ积压告警，通过观察消费者积压数量发现存在MQ消息积压陡增的情况。如下图所示：

2021-05-20发表TroubleShooting / 流程分析7 分钟读完 (大约984个字)

抓包分析http请求超时

一、问题背景

EDI某商家回传场景近期高频出现Http回传商家超时现象，关键堆栈如下：

Caused by: java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
    at java.net.SocketInputStream.read(SocketInputStream.java:170)
    at java.net.SocketInputStream.read(SocketInputStream.java:141)
    at org.apache.http.impl.io.SessionInputBufferImpl.streamRead(SessionInputBufferImpl.java:137)
    at org.apache.http.impl.io.SessionInputBufferImpl.fillBuffer(SessionInputBufferImpl.java:153)
    at org.apache.http.impl.io.SessionInputBufferImpl.readLine(SessionInputBufferImpl.java:280)
    at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:138)
    at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:56)
    at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:259)
    at org.apache.http.impl.DefaultBHttpClientConnection.receiveResponseHeader(DefaultBHttpClientConnection.java:163)
    at org.apache.http.impl.conn.CPoolProxy.receiveResponseHeader(CPoolProxy.java:157)
    at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:273)
    at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:125)
    at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:272)
    at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:186)
    at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:89)
    at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:110)
    at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:185)
    at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:83)
    at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:56)
    at org.apache.camel.component.http4.HttpProducer.executeMethod(HttpProducer.java:334)
    at org.apache.camel.component.http4.HttpProducer.process(HttpProducer.java:193)
    at org.apache.camel.util.AsyncProcessorConverterHelper$ProcessorToAsyncProcessorBridge.process(AsyncProcessorConverterHelper.java:61)
    at org.apache.camel.processor.SendProcessor.process(SendProcessor.java:148)
    at org.apache.camel.processor.RedeliveryErrorHandler.process(RedeliveryErrorHandler.java:548)
    ... 41 more