Flink+Kafka深度调优:流处理延迟降70%
|
上回跟老张在工地门口抽烟,他叼着烟卷儿问我:"你说那Flink+Kafka调优降70%延迟,真能落地?"我弹了弹烟灰:"一个月前刚给某银行搞的,监控曲线跟坐滑梯似的往下掉。"他吐个烟圈:"扯呢吧?我上次调Kafka参数调了三天,延迟就降了15%。"我笑了:"你那是调了个寂寞——就跟给切割机换刀片,刀片倒是新的,电机功率没变,能快到哪儿去?" 那项目确实邪乎。客户说他们的反欺诈系统延迟卡在200ms,交易高峰能蹦到500ms,风控规则根本跑不过来。我原以为就是改改Kafka的num.network.threads和num.io.threads,结果翻日志才发现——Flink的TaskManager内存泄漏,JVM频繁GC,每次Young GC都得停100ms,老年代GC更夸张,直接卡3秒。这哪是Kafka的问题?分明是Flink自己先跪了。 门口那堆沙子被雨浇出个坑,我蹲在坑边划拉:"你看,就像这沙子,水多了就塌。Flink的堆内存设得比Kafka还大,TaskManager占着8G,Kafka Broker才给4G,消息都堵在Broker端,Flink再快有个屁用?"老张踩了踩地上的电线:"那后来咋整的?"我抬头:"砍了Flink的堆内存,从8G降到4G,Kafka Broker从4G提到6G,再调num.network.threads从3到8——你猜怎么着?延迟直接掉到80ms,高峰也就120ms。" (编辑:云计算网_韶关站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |





浙公网安备 33038102330456号