标签：flink - 数据猫

flink自定义水印（watermark）生成器

flin基础操作

实时业务场景很复杂，乱序延迟通常不固定（比如高峰期延迟30秒，低峰期延迟5秒），可以实现WatermarkGenerator接口，自定义水印生成逻辑，比如基于周期生成、基于数据条数生成，灵活适配特殊场景。一、核心思路（适配动态乱序延迟场景）针对 “高峰期延迟 30 秒、低峰期延迟 5 秒” 的动

flink作业提交样例

flin基础操作

flink提供两种主流提交模式（生产推荐的 Application 模式和共享资源的 Session 模式）。 Application Mode（应用模式）：每个作业启动一个独立的 Flink 集群，作业的main方法直接运行在 YARN 的 JobManager 上。 Session Mode

flink sql读取kafka写入paimon

flin基础操作

一、什么是 Flink Hive Catalog？ HiveCatalog 是 Flink 提供的一种 Catalog 实现，它允许 Flink 直接读取和写入 Hive Metastore 中定义的数据库、表、分区、函数等元数据。通过 HiveCatalog：

flink依赖配置

flink安装部署

flink 1.20.3下载 # 官网: wget https://dlcdn.apache.org/flink/flink-1.20.3/flink-1.20.3-bin-scala_2.12.tgz # 清华镜像： wget https://mirrors.tuna.tsinghua.edu.c

flink barrier机制

flink

好的，Flink 的 Barrier（屏障）是其**容错机制的核心**，特别是实现分布式一致性快照的基石。理解 Barrier 是理解 Flink 如何保证“精确一次”语义的关键。 --- ### 一、Barrier 是什么？简单比喻：想象一个游乐场的过山车，管理人员想在某一精确时刻为所有