資料分析實戰 12 資料整合

2022-11-27 08:07:43 字數 454 閱讀 7223

資料整合的兩種架構:elt 和 etl

目前資料整合的主流架構是 etl,但未來使用 elt 作為資料整合架構的將越來越多

etl 工具有哪些?

kettle 工具的使用

如何建立 transformation**換)

在 transformation 中包括兩個主要概念:step 和 hop。step 的意思就是步驟,hop 就是跳躍線的意思。

如何建立 job(作業)

在 kettle 中,你可以使用 spoon,它是一種一種圖形化的方式,來讓你設計 job 和 transformation,並且可以儲存為檔案或者儲存在資料庫中

阿里開源軟體:datax

但 datax 可以實現跨平臺、跨資料庫、不同系統之間的資料同步及互動,它將自己作為標準,連線了不同的資料來源,以完成它們之間的轉換。

apache 開源軟體:sqoop

總結