数据血缘构建方案


在数据平台中,血缘(Data Lineage) 是指对数据从源头到最终消费全过程的追踪与记录。它描述了数据的“产生、处理和使用”路径,包括数据是如何被采集、转换、集成、存储以及最终被报表、分析或机器学习模型所使用的。 一、什么是数据血缘? 数据血缘可以理解为数据的家族谱系图,它回答以下关键问题:

mysql8.4.5为用户启用mysql_native_password认证方式


关于MySQL 8.4中mysql_native_password被禁用的问题,这是由于MySQL官方从8.4版本开始,已将此旧的认证插件默认设置为不加载。 这个问题通常在你升级数据库或使用旧的客户端时,遇到类似 Plugin 'mysql_native_password' is not loade

ubuntu安装metabase


版本 ubuntu24 jdk21 mysql8 metabase v0.57.6 安装 创建mysql数据库: 在mysql中新建数据库:metabase 启动metabase: export MB_DB_TYPE=mysql export MB_DB_USER=metabase export M

spark配置手册


spark版本:3.3.3

mysql备份恢复


备份: #database mysqldump -hlocalhost -P3306 -uroot -p123456 driver > /data/back/driver/driver.sql #table: 数据库名 表名 mysqldump -hlocalhost -P3306 -uroot -

mysql8将用户的认证插件改为旧的 mysql_native_password


在 MySQL 8.0 中,默认的认证插件是 caching_sha2_password,但某些旧客户端(如一些较老版本的 PHP、Python 驱动等)可能不支持该插件。如果你需要将某个 MySQL 用户的认证方式改为旧的 mysql_native_password,可以按照以下步骤操作。 ✅ 方

spark数据倾斜优化


数据倾斜的表现 当一个任务执行时间很长,并且只卡在一个或几个任务时,就是数据倾斜了。 比如一个任务执行了1个多小时,通过spark ui查看stage发现有个任务执行了50分钟,一定是数据倾斜了。 解决思路 1. spark 3.0 可以开启AQE(自适应查询执行)和数据倾斜自动优化

dolphin执行python脚本


#!/bin/bash source ~/.bashrc source /home/hive/anaconda3/etc/profile.d/conda.sh # 切换python环境 conda activate my_spider; python /home/hive/git/test/t

公共 DNS

ubuntu 

🚀 全球知名公共 DNS

docker镜像加速配置

docker 

一、国内主流镜像加速器 常用加速地址(按推荐顺序): 阿里云加速器(推荐) 需要注册阿里云账号,免费 地址格式:https://<你的ID>.mirror.aliyuncs.com</