数据加载工具

一个使用Python和开源数据工程工具构建的现代数据摄取工作流,用于从REST API提取数据并加载到分析数据库。

  • by descandon88
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 descandon88/workshop-apis-to-warehouses-dlt

使用说明

🚀 使用dlt访问仓库的API

此存储库包含我对 “从原料药到仓库”研讨会,在那里我建造了一个完整的 数据摄取管道 从REST API中提取数据,并使用将其加载到分析数据库中 数据加载工具.

本项目的目标是演示如何构建 现代数据摄取工作流程 使用Python和开源数据工程工具。


🧠 项目概述

在这个项目中,我实现了一个管道:

  1. 从REST API提取数据
  2. 对数据进行规范化和结构化
  3. 将数据加载到本地分析数据库中
  4. 创建可重复的数据摄取工作流

管道使用 数据链路层,一个Python库,通过自动处理模式推理、规范化和加载,简化了将数据从API和其他源加载到分析目标的过程。:content参考[oacite:3]{索引=3}


🏗️ 建筑

管道遵循一个简单的 EL(摘录→ Load) 图案: