深入分析數(shù)據(jù)，我們可以看到導(dǎo)致數(shù)據(jù)產(chǎn)品的數(shù)據(jù)流。運(yùn)營(yíng)數(shù)據(jù)通常作為某種原始和非結(jié)構(gòu)化數(shù)據(jù)被攝取。

在預(yù)處理步驟中，原始數(shù)據(jù)被清理并結(jié)構(gòu)化為事件和實(shí)體。 事件很小、不可變且高度面向領(lǐng)域，例如OrderPurchased或ShipmentDelivered。 實(shí)體代表業(yè)務(wù)對(duì)象，例如貨物或物品，其狀態(tài)隨時(shí)間而變化。這就是為什么實(shí)體經(jīng)常被表示為一個(gè)快照列表，即歷史，最新的快照是當(dāng)前狀態(tài)。

在實(shí)踐中，我們經(jīng)常會(huì)看到手動(dòng)輸入或?qū)氲臄?shù)據(jù)。例如，通過(guò)電子郵件作為 CSV 文件或業(yè)務(wù)代碼的文本描述發(fā)送的預(yù)測(cè)數(shù)據(jù)。

來(lái)自其他團(tuán)隊(duì)的數(shù)據(jù)被整合為外部數(shù)據(jù)。當(dāng)使用來(lái)自其他管理良好的團(tuán)隊(duì)的數(shù)據(jù)產(chǎn)品時(shí)，這種集成可能會(huì)以非常輕量級(jí)的方式實(shí)現(xiàn)。在從遺留系統(tǒng)導(dǎo)入數(shù)據(jù)的情況下，外部區(qū)域充當(dāng)反腐敗層 .

發(fā)布的數(shù)據(jù)產(chǎn)品是通過(guò)聚合事件、實(shí)體、手冊(cè)和外部數(shù)據(jù)的子集而得出的。

領(lǐng)域團(tuán)隊(duì)如何將他們的運(yùn)營(yíng)數(shù)據(jù)引入數(shù)據(jù)平臺(tái)？根據(jù)領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)原則設(shè)計(jì)的軟件系統(tǒng)包含作為可變實(shí)體/聚合和不可變領(lǐng)域事件的數(shù)據(jù)。

領(lǐng)域事件非常適合被攝取到數(shù)據(jù)平臺(tái)中，因?yàn)樗鼈兇砹讼嚓P(guān)的業(yè)務(wù)事實(shí)。如果有一個(gè)消息傳遞系統(tǒng)，則可以通過(guò)附加一個(gè)額外的消息消費(fèi)者將域事件轉(zhuǎn)發(fā)到數(shù)據(jù)平臺(tái)。數(shù)據(jù)可以實(shí)時(shí)采集、處理并轉(zhuǎn)發(fā)到數(shù)據(jù)平臺(tái)。通過(guò)這種流式攝取，數(shù)據(jù)在到達(dá)時(shí)以小批量發(fā)送，因此可立即用于分析。由于領(lǐng)域事件已經(jīng)被很好地定義，除了 PII 數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除和匿名化之外，在清理和預(yù)處理方面幾乎沒(méi)有什么可做的。有時(shí)，還建議定義和攝取包含僅與分析用例相關(guān)的信息的內(nèi)部分析事件，這樣就不必修改域事件。
流式攝取示例：Kafka Connect、Kafka Streams、AWS Lambda

許多業(yè)務(wù)對(duì)象作為實(shí)體和聚合保存在 SQL 或 NoSQL 數(shù)據(jù)庫(kù)中。它們的狀態(tài)會(huì)隨著時(shí)間而變化，并且最新的狀態(tài)只保存在數(shù)據(jù)庫(kù)中。具有狀態(tài)的實(shí)體的有力候選者是文章、價(jià)格、客戶(hù)數(shù)據(jù)或裝運(yùn)狀態(tài)。對(duì)于分析用例，通常需要同時(shí)擁有最新?tīng)顟B(tài)和一段時(shí)間內(nèi)的狀態(tài)歷史。有幾種攝取實(shí)體的方法。一種方法是生成并發(fā)布onCreate/onUpdate/onDelete 事件每次更改實(shí)體時(shí)都使用當(dāng)前狀態(tài)，例如通過(guò)添加 方面 或實(shí)體監(jiān)聽(tīng)器 . 然后可以使用流式攝取來(lái)攝取上述數(shù)據(jù)。當(dāng)更改操作軟件不可行時(shí)，可以使用更改數(shù)據(jù)捕獲 (CDC)直接監(jiān)聽(tīng)數(shù)據(jù)庫(kù)更改并將其流式傳輸?shù)綌?shù)據(jù)平臺(tái)。
CDC 流的示例：Debezium 

最后，可以設(shè)置將數(shù)據(jù)導(dǎo)出到文件并將其加載到平臺(tái)中的傳統(tǒng)預(yù)定ELT 或 ETL 作業(yè)，其缺點(diǎn)是沒(méi)有實(shí)時(shí)數(shù)據(jù)，在導(dǎo)出之間沒(méi)有所有階段更改，并且需要整合導(dǎo)出的數(shù)據(jù)再次。但是，對(duì)于大型機(jī)等遺留系統(tǒng)來(lái)說(shuō)，它們是一個(gè)可行的選擇。