分类：数据平台

分类
数据平台

flink作业提交样例

flin基础操作

flink提供两种主流提交模式（生产推荐的 Application 模式和共享资源的 Session 模式）。 Application Mode（应用模式）：每个作业启动一个独立的 Flink 集群，作业的main方法直接运行在 YARN 的 JobManager 上。 Session Mode

flink sql读取kafka写入paimon

flin基础操作

一、什么是 Flink Hive Catalog？ HiveCatalog 是 Flink 提供的一种 Catalog 实现，它允许 Flink 直接读取和写入 Hive Metastore 中定义的数据库、表、分区、函数等元数据。通过 HiveCatalog：

hive配置

hive安装部署

hive 依赖paimon 1、在hive跟目录下创建目录：auxlib 2、将paimon-hive-connector-2.3-1.3.1.jar放入auxlib下 wget https://repo.maven.apache.org/maven2/org/apache/paimon/paimo

spark依赖配置

spark安装部署

spark下载：版本：spark 3.3.2 官网： wget https://archive.apache.org/dist/spark/spark-3.3.2/spark-3.3.2-bin-hadoop2.tgz 华为镜像： wget https://mirrors.huaweicloud.

Hive Catalog

hive基础操作

一、什么是 Hive Catalog？ Hive Catalog 是 Apache Hive 提供的元数据管理服务，用于存储表结构（schema）、数据库、分区信息、表位置等元数据。它通常依赖于关系型数据库（如 MySQL、PostgreSQL）作为底层存储。

flink依赖配置

flink安装部署

flink 1.20.3下载 # 官网: wget https://dlcdn.apache.org/flink/flink-1.20.3/flink-1.20.3-bin-scala_2.12.tgz # 清华镜像： wget https://mirrors.tuna.tsinghua.edu.c

kafka基本操作

kafka

创建topic： /home/phoenix/apps/kafka_2.13-3.9.1/bin/kafka-topics.sh \ --create \ --bootstrap-server 192.168.1.211:9092 \ --topic mysql-bin-tab1 \

debezium读取mysql binlog

debezium

先决条件确认在执行以下步骤前，请确保已满足以下条件： ✅ MySQL已开启Binlog（ROW模式） ✅ Kafka集群已运行 ✅ Kafka Connect服务已启动（端口8083可用） ✅ Debezium MySQL连接器插件已安装到Kafka Connect 🚀 详细实施步骤

debezium3.4基于kafka-connect安装部署

debezium

Debezium 3.4的安装部署，其核心是作为插件集成到Apache Kafka Connect框架中来工作。根据环境，可以选择不同的部署方式。下面的表格汇总了三种主流部署方式：

Kafka Connect分布式服务

kafka

部署Kafka Connect 3.9的分布式集群，核心是配置一个由多个Worker进程组成的、能够自动协调和容错的系统。与单机模式不同，分布式模式下，集群的状态和配置都存储在Kafka内部主题中，以实现高可用。下面的表格整理了部署的核心步骤概览：