生产实践 | 基于 Flink 的直播实时数据建设 (一)| 需求和架构篇 发表于 2020-10-12 | 分类于 Apache Flink | 字数统计: 2.4k | 阅读时长 ≈ 8 本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍 Flink sink schema 字段设计小技巧,阅读时长大概 2 分钟,话不多说,直接进入正文! 阅读全文 »
前沿 | 流批一体的一些理解 发表于 2020-10-12 | 分类于 Apache Flink | 字数统计: 99 | 阅读时长 ≈ 1 本系列每篇文章都比较短小,不定期更新,从一些博主的脑洞想法出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍博主对流批一体来源以及未来发展方向的一些理解,阅读时长大概 2 分钟,话不多说,直接进入正文! 阅读全文 »
前沿 | 流批一体的一些理解 发表于 2020-10-12 | 分类于 Apache Flink | 字数统计: 180 | 阅读时长 ≈ 1 本系列每篇文章都比较短小,不定期更新,从一些博主的脑洞想法出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍博主对流批一体来源以及未来发展方向的一些理解,阅读时长大概 2 分钟,话不多说,直接进入正文! 阅读全文 »
踩坑记 | Flink 天级别窗口中存在的时区问题 发表于 2020-10-03 | 分类于 Apache Flink | 字数统计: 4k | 阅读时长 ≈ 15 本系列每篇文章都是从一些实际的 case 出发,分析一些生产环境中经常会遇到的问题,抛砖引玉,以帮助小伙伴们解决一些实际问题。本文介绍 Flink 时间以及时区问题,分析了在天级别的窗口时会遇到的时区问题,如果对小伙伴有帮助的话,欢迎点赞 + 再看~ 阅读全文 »
Tips | Flink 使用 union 代替 join、cogroup 发表于 2020-10-03 | 分类于 Apache Flink | 字数统计: 2k | 阅读时长 ≈ 8 本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍在满足原有需求、实现原有逻辑的场景下,在 Flink 中使用 union 代替 cogroup(或者join) ,简化任务逻辑,提升任务性能的方法,阅读时长大概一分钟,话不多说,直接进入正文! 阅读全文 »
Tips | Flink sink schema 字段设计小技巧 发表于 2020-09-12 | 分类于 Apache Flink | 字数统计: 1k | 阅读时长 ≈ 3 本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍 Flink sink schema 字段设计小技巧,阅读时长大概 2 分钟,话不多说,直接进入正文! 阅读全文 »
Tips | flink watermark 一定只能用时间戳衡量??? 发表于 2020-09-12 | 分类于 Apache Flink | 字数统计: 227 | 阅读时长 ≈ 1 本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文从另一种角度介绍 flink 的 watermark,阅读时长大概 2 分钟,话不多说,直接进入正文! 阅读全文 »
踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑 发表于 2020-09-11 | 分类于 Apache Flink | 字数统计: 1.5k | 阅读时长 ≈ 5 本文详细介绍了在上游使用处理时间语义的 flink 任务出现故障后,重启消费大量积压在上游的数据并产出至下游数据乱序特别严重时,下游 flink 任务使用事件时间语义时遇到的大量丢数问题以及相关的解决方案。 阅读全文 »
生产实践 | 基于 Flink 的短视频生产消费监控 发表于 2020-09-01 | 分类于 Apache Flink | 字数统计: 2.8k | 阅读时长 ≈ 11 本文详细介绍了实时监控类指标的数据流转链路以及技术方案,大多数的实时监控类指标都可按照本文中的几种方案实现。 阅读全文 »