感謝導語：數(shù)據(jù)集成產品是數(shù)據(jù)中臺建設得第壹環(huán)節(jié)，在構建數(shù)據(jù)中臺或大數(shù)據(jù)系統(tǒng)時，首先要將企業(yè)內部各個業(yè)務系統(tǒng)得數(shù)據(jù)實現(xiàn)互聯(lián)互通，從物理上打破數(shù)據(jù)孤島。感謝對數(shù)據(jù)集成產品進行了分析，一起來看一下吧。

數(shù)據(jù)集成產品致力于異構數(shù)據(jù)源之間得數(shù)據(jù)交換與匯聚，該類產品是數(shù)據(jù)中臺建設得第壹環(huán)節(jié)，筆者將通過兩篇文章對數(shù)據(jù)集成產品進行分析。

數(shù)據(jù)同步，又稱為數(shù)據(jù)集成、數(shù)據(jù)遷移，主要用于實現(xiàn)不同系統(tǒng)間得數(shù)據(jù)流轉。

為什么會有數(shù)據(jù)同步這類產品？

在企業(yè)中，業(yè)務得快速發(fā)展產生了大量數(shù)據(jù)，也催生出多種應用系統(tǒng)，各系統(tǒng)承載不同類型得數(shù)據(jù)，對應著不同得數(shù)據(jù)存儲方式。

而對于構建數(shù)據(jù)中臺或大數(shù)據(jù)系統(tǒng)，首先需要將企業(yè)內部各個業(yè)務系統(tǒng)得數(shù)據(jù)實現(xiàn)互聯(lián)互通，從物理上打破數(shù)據(jù)孤島，而這主要通過數(shù)據(jù)匯聚和同步得能力來實現(xiàn)。

數(shù)據(jù)同步方式有多種：API接口同步、數(shù)據(jù)文件同步和數(shù)據(jù)庫日志解析同步，適用于不同得業(yè)務場景。

本次分享得數(shù)據(jù)同步是基于數(shù)據(jù)庫日志解析得方式實現(xiàn)，其主要應用場景是：數(shù)據(jù)從業(yè)務系統(tǒng)同步到數(shù)倉，和數(shù)據(jù)從數(shù)倉同步到數(shù)據(jù)應用兩個方面。

一、數(shù)據(jù)集成產品簡介1. 產品介紹

數(shù)據(jù)同步致力于保證數(shù)據(jù)在不同數(shù)據(jù)源之間被高效準確地遷移。根據(jù)數(shù)據(jù)時效性要求和應用場景，數(shù)據(jù)同步可分為離線同步和實時同步：

1）離線同步

主要用于大批量數(shù)據(jù)得周期性遷移，對時效性要求不高，一般采用分布式批量數(shù)據(jù)同步方式，通過連接讀取數(shù)據(jù)，讀取數(shù)據(jù)過程中可以有全量、增量方式，經(jīng)過統(tǒng)一處理后寫入目標存儲。

成熟得產品有：Sqoop、DataX、kettle等。

2）實時同步

針對數(shù)據(jù)時效性要求高得場景，其將源端數(shù)據(jù)得變化實時同步到目標端數(shù)據(jù)源中，保證源端數(shù)據(jù)與目標端數(shù)據(jù)實時保持一致，就可滿足業(yè)務實時查詢分析使用數(shù)據(jù)或實時計算等需求。

成熟得產品有：Canal、otter等。

在實際業(yè)務場景中，離線同步和實時同步搭配使用，為保證已有得數(shù)據(jù)表在目標端數(shù)據(jù)源中可用，會使用離線同步將該表得歷史數(shù)據(jù)全量遷移到目標端數(shù)據(jù)源中，對于增量數(shù)據(jù)則通過實時集成來增量遷移。

2. 核心流程

數(shù)據(jù)集成得實現(xiàn)有三個關鍵步驟：數(shù)據(jù)讀取、數(shù)據(jù)轉換（映射）、數(shù)據(jù)寫入，核心流程如下圖所示：

具體流程為：數(shù)據(jù)集成從源端數(shù)據(jù)源中讀取數(shù)據(jù)，按照建好得映射關系及轉換規(guī)則，將數(shù)據(jù)寫入到目標數(shù)據(jù)源中。其中：

配置源端數(shù)據(jù)源和目標端數(shù)據(jù)源，用于連接數(shù)據(jù)源，獲取數(shù)據(jù)源得讀、寫權限等建立映射關系：源端數(shù)據(jù)源中數(shù)據(jù)表及字段對應到目標端數(shù)據(jù)源中得哪張表和字段。建立映射關系后，數(shù)據(jù)集成根據(jù)映射關系，將源端數(shù)據(jù)寫入到對應得目標端數(shù)據(jù)數(shù)據(jù)轉換規(guī)則：數(shù)據(jù)寫入時，可能有不同數(shù)據(jù)格式轉換，敏感數(shù)據(jù)脫敏展示、無用字段過濾、null值處理等需求，可以制定相應得數(shù)據(jù)轉換規(guī)則來實現(xiàn)數(shù)據(jù)傳輸通道：可配置任務并發(fā)數(shù)、數(shù)據(jù)連接數(shù)等任務參數(shù)，達到數(shù)據(jù)集成得任務被高效穩(wěn)定執(zhí)行等目得

基于上述流程，數(shù)據(jù)集成產品得核心功能一般會包含以下4個：

數(shù)據(jù)集成平臺在進行異構數(shù)據(jù)源之間得數(shù)據(jù)遷移時，需要保證遷移任務被高效完成，被遷入目標端數(shù)據(jù)源得數(shù)據(jù)是準確可靠得、實時得，數(shù)據(jù)傳輸過程是安全得等，這是用戶核心點，也是期望平臺達到得目標。

3. 其他大數(shù)據(jù)產品得聯(lián)系和區(qū)別

在構建數(shù)據(jù)倉庫得場景中，數(shù)據(jù)加載到數(shù)倉后，隨后進行數(shù)據(jù)加工和數(shù)據(jù)應用，其中涉及得3類大數(shù)據(jù)產品如下：

1）數(shù)據(jù)集成：面向數(shù)據(jù)匯聚與交換

產品流程：配置數(shù)據(jù)源—創(chuàng)建同步任務—配置調度任務。

核心任務：ETL、校驗、補數(shù)、合并。

2）數(shù)據(jù)加工：面向數(shù)據(jù)分析

產品流程：創(chuàng)建表—編寫加工邏輯（insert）—配置調度任務。

數(shù)據(jù)加工方式：離線計算、實時計算、機器學習等。

3）任務調度：工作流編排

產品流程：創(chuàng)建任務節(jié)點—配置節(jié)點依賴關系—提交并執(zhí)行。

任務調度：任務執(zhí)行、任務調度與運維。

聯(lián)系：

數(shù)據(jù)集成和數(shù)據(jù)加工都是數(shù)據(jù)生命周期中得一環(huán)數(shù)據(jù)集成任務和數(shù)據(jù)加工任務其實就是任務調度中得任務節(jié)點job，任務調度保證數(shù)據(jù)被順序采集和加工出來

以用戶畫像分析為例，oss_數(shù)據(jù)同步和rds_數(shù)據(jù)同步兩個節(jié)點是數(shù)據(jù)集成任務節(jié)點，ods_log_info_d、dws_user_info_all_d、rpy_user_info_d三個節(jié)點是數(shù)據(jù)加工任務節(jié)點，繪制各節(jié)點間得連線即工作流編排。

提交并執(zhí)行畫布中得流程節(jié)點，數(shù)據(jù)就會按照箭頭方向執(zhí)行各節(jié)點，產出最終結果。

區(qū)別：數(shù)據(jù)集成和數(shù)據(jù)加工都基于任務執(zhí)行和調度實現(xiàn)，兩者雖然都是ETL，但是各自得重點并不相同。

①核心動作

數(shù)據(jù)集成核心動作是抽數(shù)（讀、寫、轉換），也就是數(shù)據(jù)交換，轉換動作也只是簡單得數(shù)據(jù)清洗。

數(shù)據(jù)加工得核心動作是計算邏輯/清洗等加工規(guī)則得編寫，加工規(guī)則復雜。

②核心目標

數(shù)據(jù)集成得核心目標，是保證數(shù)據(jù)被高效準確地遷移到目標端數(shù)據(jù)源。

數(shù)據(jù)加工得核心目標，是加工規(guī)則編寫準確“翻譯”業(yè)務需求。

二、數(shù)據(jù)集成產品流程

離線集成與實時集成在實際運行中，得側重點是不同得，對于離線集成，面對得是批數(shù)據(jù)，更多考慮大規(guī)模數(shù)據(jù)量得遷移效率問題；對于實時集成，面對得是流數(shù)據(jù)，更多考慮數(shù)據(jù)準確性問題。

數(shù)據(jù)同步中一般采用先全量在增量得方式來進行數(shù)據(jù)得遷移，即先將歷史數(shù)據(jù)全量遷移到目標數(shù)據(jù)源，完成初始化動作，在進行增量數(shù)據(jù)得實時同步，這樣保證目標端數(shù)據(jù)得可用性。當然也有不care歷史數(shù)據(jù)得場景，此時就無需進行全量遷移得動作。

1. 實時集成

我們主要采用基于日志得CDC方式來實現(xiàn)增量數(shù)據(jù)得實時同步，CDC即change data capture，捕獲數(shù)據(jù)得變化。

實時集成通過讀取源端數(shù)據(jù)庫日志bin_log來捕獲數(shù)據(jù)得變化情況（insert、update、delete），將其傳輸?shù)絢afka topic中，然后通過spark streaming對數(shù)據(jù)進行轉換/清洗，寫入到stg增量表中，最后將增量數(shù)據(jù)與全量數(shù)據(jù)合并到數(shù)倉ods表中。

由于數(shù)據(jù)庫日志抽取一般是獲取所有得數(shù)據(jù)記錄得變更（增、刪、改），落到目標表時，需要根據(jù)主鍵去重，并按照日志時間倒序排列獲取最后狀態(tài)得變化情況。

具體得實時集成任務執(zhí)行邏輯及流程如下所示：

實時集成有以下特點：

源端數(shù)據(jù)庫產生一條記錄，數(shù)據(jù)集成實時同步一條記錄流數(shù)據(jù)在數(shù)據(jù)傳輸過程中可能會被丟失或延遲

故相較于離線集成，在數(shù)據(jù)同步鏈路上，實時集成會增加數(shù)據(jù)校驗和數(shù)據(jù)合并兩個動作。

數(shù)據(jù)校驗主要校驗源端和目標端得數(shù)據(jù)量，保證數(shù)據(jù)沒有被丟失數(shù)據(jù)合并則是由ods庫base表和cdc目標庫increment表組成，具體邏輯為：將stg數(shù)據(jù)按主鍵去重，取最新一條，根據(jù)主鍵與ods數(shù)據(jù)表中得T+1數(shù)據(jù)合并2. 離線集成

離線集成分為全量和增量兩種方式對大規(guī)模數(shù)據(jù)進行批量遷移。

全量遷移是將某些表得全部歷史數(shù)據(jù)同步到目標數(shù)據(jù)源中增量遷移，通常需要使用where子句（RDB）或者query子句（MongoDB）等增量配置參數(shù)，同時在結合調度參數(shù)（定時任務得重復周期：分鐘、小時、天、周、月等）可實現(xiàn)增量遷移任意指定日期內得數(shù)據(jù)。

比如，想要實現(xiàn)每日數(shù)據(jù)得增量同步，各參數(shù)可配置為：

Where子句：配置為DS=’${dateformat(yyyy-MM-dd,-1,DAY)}’，配置定時任務：重復周期為1天，每天得凌晨0點自動執(zhí)行作業(yè)

增量遷移得數(shù)據(jù)可以對目標端數(shù)據(jù)源表中數(shù)據(jù)進行追加、覆蓋和更新操作。

：細嗅薔薇，：零號產品er

感謝由 等細嗅薔薇 來自互聯(lián)網(wǎng)發(fā)布于人人都是產品經(jīng)理，未經(jīng)許可，禁止感謝

題圖來自 Unsplash，基于 CC0 協(xié)議