面灵AI→

金山云一面:有界 Channel 打满、sync.Pool、ClickHouse 写入重试与滑动窗口限流

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 介绍一下你的分布式流量监控项目。
  3. 项目压测时,PPS 是在采集端、消费端还是计算完成后统计的?
  4. 有界 Channel 很快就满了,怎么处理?
  5. sync.Pool 有啥用?
  6. 写入 ClickHouse 失败后,怎么重试?
  7. 如果 ClickHouse 写入和查询同时变慢,怎么排查?
  8. 线上收到延迟告警,你这个系统的排查步骤是什么?
  9. Trace 上下文怎么传递?
  10. 如何处理下游接口失败?
  11. 要获取整个集群的 P99 延迟,有什么方案?
  12. 假如有业务方给请求指标加了 user_id 标签,预期对整个链路会有哪些影响?
  13. 项目拷打。
  14. 滑动窗口限流算法,说一下思路。

《参考解析》

PPS 在哪里统计决定了这个数字的含义。采集端统计的是「收到多少包」,消费端统计的是「处理了多少」,计算完成后统计的是「聚合进存储的多少」。三者不一致时差值就是丢包或积压。回答时先明确压测目标:如果是测采集能力,就在采集端计数并同时记录丢弃数;如果测端到端吞吐,要用同一时间窗在两端各打点做对账。只说一个数字不说明位置,等于没答。

有界 Channel 打满。先分清是瞬时突发还是持续过载。瞬时突发:扩大缓冲、加批处理(攒批再发)、用非阻塞写并在满时降级(丢弃低优先级样本、只保留计数)。持续过载:说明下游消费能力不足,要么加消费者、要么在入口做背压或限流,把压力前移。关键是丢的时候要可观测:记录丢弃计数与原因,绝不静默丢。select + default 的非阻塞写是最常用的落地方式。

sync.Pool。用于复用临时对象、降低 GC 压力:高频分配的小对象(buffer、请求结构体、序列化中间结果)放 Pool 里取用,用完 Put 回去。注意它不是缓存,GC 会清空,不能用来保存有状态的数据;取出的对象要 Reset,否则残留字段会串数据;对象大小差别大时按尺寸分池。

ClickHouse 写失败重试。区分错误类型:网络抖动、超时、TOO_MANY_PARTS(写入过快产生太多分区片段)可以退避重试,SYNTAX_ERROR、schema 不匹配、类型错误重试没有意义。落地通常用批量写 + 本地磁盘队列(WAL)兜底:写失败先落盘,后台按指数退避重放,同时用幂等键或 ReplacingMergeTree 保证重复写入不影响结果。要说明重试上限与死信队列,避免无限重试拖垮内存。

写入与查询同时变慢。先看资源:CPU、内存、磁盘 IO、system.query_log 里的慢查询与 ProfileEvents。写入侧常见原因是分区片段过多(小批频繁写)、merge 跟不上;查询侧常见原因是扫描分区过多、排序键没用上、大聚合没走预聚合表。两者同时慢往往指向同一件事:merge 压力大或磁盘打满。处置是控制写入批次大小、限制并发查询、把重查询路由到副本。

延迟告警的排查顺序。先确认告警真实性(是单一指标抖动还是多指标同时异常、影响面多大),再看时间线对齐最近的变更(发布、配置、流量突增),然后按链路从入口往下游逐段看:采集延迟、队列积压(消费 lag)、计算耗时、写入耗时、查询耗时。每段都要有对应的监控面板,缺哪段就先补监控。最后才是看代码与依赖。

Trace 上下文传递。用 W3C traceparent(trace-id、span-id、采样标记)作为标准头,HTTP 走 header、gRPC 走 metadata、消息队列写进消息属性、异步任务随任务参数落库。进程内用 context 传递,跨线程要注意显式携带。采样策略要说明:头部采样(入口定)保证同一条链路要么全采要么全不采。

下游失败的处理。按可重试性分类:超时与 5xx 可重试(带退避与抖动),4xx 不重试。熔断(连续失败率超阈值直接短路)、降级(返回缓存或默认值)、隔离(不同下游用独立连接池与线程池,避免一个慢下游拖垮全部)。所有降级都要在响应与指标里可见。

集群 P99 怎么算。不能把各实例的 P99 求平均。方案有三:一是各实例上报分桶直方图(Prometheus histogram / t-digest),中心侧合并分桶后算分位数;二是上报原始延迟样本(成本高,通常采样);三是用可合并的 sketch(t-digest / DDSketch)保证合并误差可控。回答时补一句:分位数不可加,必须合并分布。

加 user_id 标签的影响。user_id 是高基数标签,直接后果是指标序列数爆炸(用户数 × 其他标签组合),导致采集端内存与 CPU 上升、存储膨胀、查询变慢,严重时打爆 Prometheus。处置:不要把它作为指标标签,改用日志或 trace 携带;确实要按用户维度聚合就走采样或专门的明细表;必须保留时限制基数(只保留 top N 用户或做哈希分桶)。

滑动窗口限流。用 Redis ZSET 存请求时间戳:每次请求先 ZREMRANGEBYSCORE 清掉窗口外的成员,再 ZCARD 判断是否超过阈值,未超则 ZADD 当前时间戳并设过期。要用 Lua 保证三步原子。缺点是内存随请求量增长(每个请求一个成员),高 QPS 下可改用「固定窗口 + 令牌桶」近似,或按秒分桶计数再做滑动求和。要说明窗口边界效应以及为什么滑动窗口比固定窗口更平滑。