产品行业: 其他(L1)-其他(L2) 产品型号: MapReduce Service for BC 背景叙述: mrs版本3.5.1dgc数据集成cdm 将hive 数据写入ck 、整点时刻有多个cmd作业同时运行、导致写入失败、报502 产品问题: MRS中当 ClickHouse 服务出现 502 错误时,MRS 现有的监控面板仅展示 ClickHouse Server 节点的 CPU、内存等基础资源指标,缺少负载均衡(Balance)层面的等待队列长度、活跃连接数、排队请求数等关键性能指标。这导致用户无法区分故障根因:• 是 CK Server 处理能力不足?• 还是负载均衡器连接池被打满、请求在队列中积压超时?当前 “Server 指标正常但报 502” 的情况,让用户完全无法定位问题环节,排查效率极低[图片]https://jdc100.huawei.com/CommunityGatewayService/com.huawei.ipd.sppm.jdcforum:JDCCommunityUserService/CommunityUserService/user/attachment/v1/download?aid=2110293014659612672[图片][图片]https://jdc100.huawei.com/CommunityGatewayService/com.huawei.ipd.sppm.jdcforum:JDCCommunityUserService/CommunityUserService/user/attachment/v1/download?aid=2110294164003700736[图片] 产品建议: 在 MRS ClickHouse 监控面板中新增负载均衡(Balance)关键指标图表建议在现有监控体系中补充以下图表,覆盖连接与队列维度:1. 连接数趋势图:按协议(TCP/HTTP)分别展示当前连接总数、活跃连接数、空闲连接数。2. 等待队列趋势图:展示负载均衡器后端处理队列中的请求排队数量、平均等待时长。ClickHouse 的 system.scheduler 系统表已包含 queue_length、queue_cost 等可直接采集的字段。3. 查询并发水位图:展示当前正在执行的查询数与 max_concurrent_queries 限制的比值,以及因并发满而等待的查询数量。ClickHouse 的 CurrentMetric_ConcurrentQueryScheduled 指标可反映排队中的查询请求。4. 502 错误率关联面板:将负载均衡层返回的 502 错误计数与上述连接/队列指标在同一时间轴上展示,便于快速判断是否存在 “连接数飙升 → 队列积压 → 触发 502” 的因果链。