数据猫

scrapy常用方法

scrapy

常用方法 1. 爬虫方法

1、指标系统介绍指标系统是一套围绕企业业务目标，对关键数据指标进行标准化定义、自动化计算、可视化展示及动态管理的数字化工具。通过整合分散的业务数据，它可以将抽象的业务场景转化为可量化的指标体系，帮助企业实时掌握运营状态、快速定位问题并支撑决策优化，是连接业务与数据的核心桥梁。背景下面看看指标系

superset

环境：服务器：Ubuntu 22.04.5 LTS python：3.11.9 superset：5.0.0 操作系统依 Superset 在其元数据数据库中存储数据库连接信息。为此，我们使用 cryptography Python 库来加密连接密码，此库需要操作系统级别的依赖项。 Ubuntu

指标系统

一、指标定义指标是用于衡量业务目标达成程度的可量化参数，它是将抽象的业务目标转化为具体、可操作、可衡量的数值标识。在企业运营中，指标如同 “导航仪”，通过对业务数据的提炼和计算，直观展现业务的运行状态、发展趋势和存在问题。例如，电商企业的 “销售额” 指标，能够直接反映企业的销售业绩；互联网产品

confluence

Confluence 是 Atlassian 公司推出的一款专业的团队协作与知识管理平台，广泛应用于企业、团队的文档协作、项目管理、知识沉淀等场景。它的核心功能是帮助团队集中管理信息，实现高效的协同工作，避免信息分散和沟通壁垒。整理了一下confluence在生产环境备份方法，当然如果文档比较少可

调度和报警

配置好建模任务后，如何保障任务连续性和数据质量？比如调度任务若因系统故障、资源不足或代码错误导致失败，未配置监控时需人工巡检才能发现，可能延误数小时甚至数天，如何解决？再比如重要数据必须9点前产出，如何保证？数据是否有重复？值是否准确？下面从数据质量监控分类（完整性、准确性、一致性、时效性）和报

nginx

背景现在公网服务都使用https协议，需要ssl证书。如果不是企业一般申请各云服务商提供的免费ssl证书就可以，这里以腾讯云获取ssl免费证书并在nginx中配置为例进行介绍。获取腾讯云ssl证书 1、访问ssl证书申请页面：https://console.cloud.tencent.com/s

nginx

背景作为一个爱折腾的人，我在腾讯云部署了一些服务，比如wiki、BI可视化、控制面板等，这些应用并不对外开发，只是自己使用，但是部署到公网，难免会遇到一些非法探测服务用户密码的情况，为了服务的安全性，可以把nginx作为安全防护层。 Nginx安全保护策略 Nginx提供了多种服务保护策略，最常用

dolphin

一、环境准备系统要求 JDK 1.8：需配置 JAVA_HOME 环境变量。 MySQL 8：用于持久化元数据（避免默认 H2 数据库重启丢失数据），本文使用的mysql8。 DolphinScheduler：版本：3.2.2 系统：Ubuntu 22.04 LTS

调度和报警

一、任务调度系统在数据仓库中的核心价值在数据仓库体系中，任务调度系统扮演着 "神经中枢" 的角色，其核心作用体现在：自动化流程控制：实现 ETL 作业、数据同步、报表生成等任务的定时触发与执行依赖关系管理：处理任务间的上下游依赖（如必须先完成 ods 层数据加载才能执行 dws 层聚合）资源