antigeneral's blog


  • 首页

  • 关于

  • 标签

  • 分类

  • 归档

  • links

  • 搜索

生产实践 | 基于 Flink 的直播实时数据建设 (一)| 需求和架构篇

发表于 2020-10-12 | 分类于 Apache Flink |
字数统计: 2.4k | 阅读时长 ≈ 8
本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍 Flink sink schema 字段设计小技巧,阅读时长大概 2 分钟,话不多说,直接进入正文!
阅读全文 »

前沿 | 流批一体的一些理解

发表于 2020-10-12 | 分类于 Apache Flink |
字数统计: 99 | 阅读时长 ≈ 1
本系列每篇文章都比较短小,不定期更新,从一些博主的脑洞想法出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍博主对流批一体来源以及未来发展方向的一些理解,阅读时长大概 2 分钟,话不多说,直接进入正文!
阅读全文 »

前沿 | 流批一体的一些理解

发表于 2020-10-12 | 分类于 Apache Flink |
字数统计: 180 | 阅读时长 ≈ 1
本系列每篇文章都比较短小,不定期更新,从一些博主的脑洞想法出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍博主对流批一体来源以及未来发展方向的一些理解,阅读时长大概 2 分钟,话不多说,直接进入正文!
阅读全文 »

踩坑记 | Flink 天级别窗口中存在的时区问题

发表于 2020-10-03 | 分类于 Apache Flink |
字数统计: 4k | 阅读时长 ≈ 15
本系列每篇文章都是从一些实际的 case 出发,分析一些生产环境中经常会遇到的问题,抛砖引玉,以帮助小伙伴们解决一些实际问题。本文介绍 Flink 时间以及时区问题,分析了在天级别的窗口时会遇到的时区问题,如果对小伙伴有帮助的话,欢迎点赞 + 再看~
阅读全文 »

Tips | Flink 使用 union 代替 join、cogroup

发表于 2020-10-03 | 分类于 Apache Flink |
字数统计: 2k | 阅读时长 ≈ 8
本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍在满足原有需求、实现原有逻辑的场景下,在 Flink 中使用 union 代替 cogroup(或者join) ,简化任务逻辑,提升任务性能的方法,阅读时长大概一分钟,话不多说,直接进入正文!
阅读全文 »

Tips | Flink sink schema 字段设计小技巧

发表于 2020-09-12 | 分类于 Apache Flink |
字数统计: 1k | 阅读时长 ≈ 3
本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍 Flink sink schema 字段设计小技巧,阅读时长大概 2 分钟,话不多说,直接进入正文!
阅读全文 »

Tips | flink watermark 一定只能用时间戳衡量???

发表于 2020-09-12 | 分类于 Apache Flink |
字数统计: 227 | 阅读时长 ≈ 1
本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文从另一种角度介绍 flink 的 watermark,阅读时长大概 2 分钟,话不多说,直接进入正文!
阅读全文 »

踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑

发表于 2020-09-11 | 分类于 Apache Flink |
字数统计: 1.5k | 阅读时长 ≈ 5
本文详细介绍了在上游使用处理时间语义的 flink 任务出现故障后,重启消费大量积压在上游的数据并产出至下游数据乱序特别严重时,下游 flink 任务使用事件时间语义时遇到的大量丢数问题以及相关的解决方案。
阅读全文 »

生产实践 | 基于 Flink 的短视频生产消费监控

发表于 2020-09-01 | 分类于 Apache Flink |
字数统计: 2.8k | 阅读时长 ≈ 11
本文详细介绍了实时监控类指标的数据流转链路以及技术方案,大多数的实时监控类指标都可按照本文中的几种方案实现。
阅读全文 »

实时新增类指标标准化处理方案

发表于 2020-09-01 | 分类于 Apache Flink |
字数统计: 1.1k | 阅读时长 ≈ 4
实时指标整个链路开发过程中的一些经验。
阅读全文 »
1…567…12

115 日志
16 分类
20 标签
RSS
GitHub E-Mail
Creative Commons
© 2019 — 2022 yangyichao-mango | Site words total count: 244.8k
由 Hexo 强力驱动
|
主题 — NexT.Muse v5.1.4