Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

在限制系统资源并且高并发下,客户端出现卡住且无响应 #35

Open
pyronn opened this issue Mar 6, 2023 · 5 comments
Assignees
Labels
bug Something isn't working

Comments

@pyronn
Copy link

pyronn commented Mar 6, 2023

在k8s集群中,限制容器系统资源,在高并发下,客户端执行rpc调用时会出现全部请求都卡住无响应的情况,grpc服务端未收到调用请求,客户端也不会超时,没有异常信息,不确定是不是死锁。配置除了注册中心地址,其他基本使用默认配置。不接入polaris注册中心时不会出现。服务端是用go提供的grpc服务。
下图是可能的异常堆栈:
image

环境版本:
应用基础镜像:openjdk:8-jdk-alpine
polaris-java版本: 1.10.1, 1.10.4
grpc版本:1.47.0,1.52.1

@chuntaojun
Copy link
Member

好的,这周会将改问题解决

@chuntaojun chuntaojun added the bug Something isn't working label Mar 13, 2023
@chuntaojun
Copy link
Member

周末修复了下可能存在的问题点,还在本地复现验证中

@chuntaojun chuntaojun self-assigned this Mar 13, 2023
@chuntaojun
Copy link
Member

下周我们会对 grpc-java-polaris 进行整体压测看看

@pyronn
Copy link
Author

pyronn commented Mar 17, 2023

好的

@honeyshine75
Copy link

honeyshine75 commented Aug 6, 2024

更新:基本解决,目前定位是由于处理队列(服务端和客户端)设置为固定值,且策略为丢弃导致

请问这个问题是什么原因导致的?
是这样的,我没有使用本工程,但是目前我在使用grpc时也遇到了本issue提到的问题,但我尚未定位问题的原因。
所以想了解该项目遇到的问题是否能帮助我解决问题,感激不尽。

问题描述:
rpc:Grpc
环境:客户端和服务端都是MacOS
proto:rpc publish(Message message) {return Response}
过程:

  1. 服务端启动
  2. 客户端高并发请求服务端
  3. 服务端首先创建资源,卡住3s后开始处理
  4. 客户端部分请求成功并收到reponse,其余请求无响应,服务端与客户端均无异常发生。

其他:

  1. 当发生问题时,如果关闭服务端,客户端剩余请求会出现报错,提示服务端不可用
  2. 问题只发生在服务端第一次启动时
  3. 问题发生时,有响应的请求数量为10024

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

3 participants