資料整合的兩種架構:elt 和 etl
目前資料整合的主流架構是 etl,但未來使用 elt 作為資料整合架構的將越來越多
etl 工具有哪些?
kettle 工具的使用
如何建立 transformation**換)
在 transformation 中包括兩個主要概念:step 和 hop。step 的意思就是步驟,hop 就是跳躍線的意思。
如何建立 job(作業)
在 kettle 中,你可以使用 spoon,它是一種一種圖形化的方式,來讓你設計 job 和 transformation,並且可以儲存為檔案或者儲存在資料庫中
阿里開源軟體:datax
但 datax 可以實現跨平臺、跨資料庫、不同系統之間的資料同步及互動,它將自己作為標準,連線了不同的資料來源,以完成它們之間的轉換。
apache 開源軟體:sqoop
總結