实时数据时效监控体系建设 发表于 2020-12-01 | 分类于 Apache Flink | 字数统计: 196 | 阅读时长 ≈ 1 本系列介绍了实时数据时效监控体系的建设。 本系列介绍了实时数据时效监控体系的建设。 前言数据延迟为是实时数据的一个最大问题。其实不管是哪部分产生延迟,最终的结果是都会直接影响到上层指标(数据质量问题 + 数据时效问题)。为了方便我们在开发阶段,运维阶段快速定位、解决延迟导致的问题;以及为后续可能的报警能力提供基础能力,因此需要建设实时数据流时效监控体系。 以一张图描述整个传输链路与耗时相关的问题。 总结上述图总共分为以下三部分。 数据延迟监控 数据乱序监控 数据加工延迟监控 打赏 微信支付 支付宝