实时数据时效监控体系建设

本系列介绍了实时数据时效监控体系的建设。

前言

数据延迟为是实时数据的一个最大问题。
其实不管是哪部分产生延迟,最终的结果是都会直接影响到上层指标(数据质量问题 + 数据时效问题)。
为了方便我们在开发阶段,运维阶段快速定位、解决延迟导致的问题;
以及为后续可能的报警能力提供基础能力,因此需要建设实时数据流时效监控体系。

以一张图描述整个传输链路与耗时相关的问题。

架构

总结

上述图总共分为以下三部分。

  • 数据延迟监控
  • 数据乱序监控
  • 数据加工延迟监控