數(shù)據(jù)量極為龐大，且仍在持續(xù)增長。近期一項(xiàng)研究顯示，數(shù)據(jù)專業(yè)人士報(bào)告其每月數(shù)據(jù)量增長達(dá)63%，平均有超過400個(gè)數(shù)據(jù)源為其商務(wù)智能與分析系統(tǒng)提供數(shù)據(jù)。面對如此多樣且數(shù)量龐大的數(shù)據(jù)源，手動的收集、集成與處理方式已難以滿足需求。然而，由于大數(shù)據(jù)具有規(guī)模大、結(jié)構(gòu)復(fù)雜且類型多樣的特點(diǎn)，其集成工作可能變得復(fù)雜且充滿挑戰(zhàn)，因此需要一套精心設(shè)計(jì)的集成策略。

本文將探討大數(shù)據(jù)集成，包括大數(shù)據(jù)的常見來源、這些數(shù)據(jù)源如何增加大數(shù)據(jù)集成的復(fù)雜性，以及在設(shè)計(jì)大數(shù)據(jù)集成管道時(shí)應(yīng)采用的若干最佳實(shí)踐。

 什么是大數(shù)據(jù)集成？

大數(shù)據(jù)集成指的是從物聯(lián)網(wǎng)設(shè)備、社交媒體、客戶及業(yè)務(wù)系統(tǒng)等多個(gè)數(shù)據(jù)源收集并聚合數(shù)據(jù)，形成一個(gè)統(tǒng)一、高效的數(shù)據(jù)集，用于分析和商業(yè)智能工作。大數(shù)據(jù)集成之所以復(fù)雜，是因?yàn)樗幚淼氖呛Ａ繑?shù)據(jù)——這些數(shù)據(jù)快速流動，有時(shí)具有瞬時(shí)性，且以多種類型和格式呈現(xiàn)。

大數(shù)據(jù)的主要特征進(jìn)一步加劇了這一過程的難度：

- 規(guī)模（Volume）：大數(shù)據(jù)體量巨大，已達(dá)到拍字節(jié)（PB）和艾字節(jié)（EB）級別，且仍在持續(xù)增長。這會影響集成策略的制定以及工具與技術(shù)的選擇。例如，大數(shù)據(jù)需要巨大的存儲容量和計(jì)算能力，所選工具必須能夠無縫擴(kuò)展以滿足不斷增長的需求。

- 多樣性（Variety）：來自大數(shù)據(jù)源的數(shù)據(jù)很少以單一格式和類型呈現(xiàn)，而是結(jié)構(gòu)化、非結(jié)構(gòu)化和原始數(shù)據(jù)的混合體。若在沒有適當(dāng)清理和驗(yàn)證步驟的情況下整合這些數(shù)據(jù)，會將不可靠的“臟數(shù)據(jù)”引入分析管道，導(dǎo)致分析結(jié)果不準(zhǔn)確。

- 速度（Velocity）：多個(gè)數(shù)據(jù)源的存在意味著數(shù)據(jù)會快速且持續(xù)地生成，供分析使用。集成策略需根據(jù)分析需求制定，例如，瞬時(shí)數(shù)據(jù)需要實(shí)時(shí)分析，以便在數(shù)據(jù)失去相關(guān)性或價(jià)值前采取行動。

- 真實(shí)性（Veracity）：并非所有從數(shù)據(jù)源生成的數(shù)據(jù)都有價(jià)值。大數(shù)據(jù)集成必須借助ETL/ELT流程及其他集成技術(shù)提取和處理數(shù)據(jù)，剔除無關(guān)和劣質(zhì)數(shù)據(jù)，確保只有高質(zhì)量數(shù)據(jù)用于分析。

一個(gè)成功且高效的大數(shù)據(jù)集成過程，需要技術(shù)人才、集成設(shè)計(jì)以及工具與技術(shù)的有機(jī)結(jié)合，以應(yīng)對這一具有挑戰(zhàn)性的過程，且通常會結(jié)合實(shí)時(shí)處理和ETL處理技術(shù)，滿足實(shí)時(shí)信息傳遞和商業(yè)智能等業(yè)務(wù)需求。

 大數(shù)據(jù)的常見來源

大數(shù)據(jù)的數(shù)據(jù)來自多個(gè)來源，可分為三大類：

- 機(jī)器數(shù)據(jù)：這類數(shù)據(jù)按固定間隔或在事件發(fā)生時(shí)生成，來源包括應(yīng)用服務(wù)器日志、用戶應(yīng)用（如健康類應(yīng)用）或云應(yīng)用等。機(jī)器數(shù)據(jù)涵蓋物聯(lián)網(wǎng)設(shè)備（如可穿戴設(shè)備、移動設(shè)備、臺式機(jī)）、交通攝像頭、傳感器，以及工業(yè)設(shè)備、衛(wèi)星等產(chǎn)生的日志。通過實(shí)時(shí)分析這些數(shù)據(jù)，可及時(shí)響應(yīng)變化。

- 社交數(shù)據(jù)：Facebook、Instagram、X（前身為Twitter）等社交媒體平臺產(chǎn)生的數(shù)據(jù)是大數(shù)據(jù)的重要來源之一。這些數(shù)據(jù)以照片、視頻、音頻、消息交流和評論等形式存在。僅從社交媒體的影響力來看，目前Facebook的活躍用戶已超過20億；每分鐘在Facebook上分享的內(nèi)容超過170萬條，在Snapchat上發(fā)送的快照超過243萬條。然而，社交媒體數(shù)據(jù)的復(fù)雜性和多樣性，使其與其他來源的數(shù)據(jù)集成面臨挑戰(zhàn)。

- 交易數(shù)據(jù)：交易數(shù)據(jù)記錄了任何交易過程中生成的信息，包括交易時(shí)間、購買的產(chǎn)品、發(fā)票編號、產(chǎn)品價(jià)格、折扣信息、付款方式等。由于交易數(shù)據(jù)的接觸點(diǎn)較多，生成的數(shù)據(jù)高度非結(jié)構(gòu)化，包含數(shù)字、字母和符號。

整合這些數(shù)據(jù)源具有一定難度，因?yàn)檫@些數(shù)據(jù)存在異構(gòu)性。必須解決來自多個(gè)位置的數(shù)據(jù)所具有的“臟數(shù)據(jù)”特性和快速流動性，同時(shí)采用能控制數(shù)據(jù)流動、確保數(shù)據(jù)安全性和質(zhì)量的集成策略。

例如，盡管社交媒體數(shù)據(jù)能幫助企業(yè)更好地了解客戶，但這類數(shù)據(jù)通常是非結(jié)構(gòu)化的、雜亂的，且由于垃圾郵件、虛假賬戶、機(jī)器人或網(wǎng)絡(luò)噴子的存在，包含大量帶有偏見和無關(guān)的信息。有效的數(shù)據(jù)集成策略必須借助適當(dāng)工具對數(shù)據(jù)進(jìn)行清理、過濾和標(biāo)準(zhǔn)化，再與其他來源的數(shù)據(jù)集成，以確保分析的質(zhì)量和可靠性。

此外，這些數(shù)據(jù)源通常包含敏感的個(gè)人信息：交易數(shù)據(jù)包含信用卡信息；機(jī)器數(shù)據(jù)（如醫(yī)療可穿戴設(shè)備產(chǎn)生的數(shù)據(jù)）通常包含健康數(shù)據(jù)。這意味著在集成過程中，需要制定標(biāo)準(zhǔn)的數(shù)據(jù)治理政策，確保數(shù)據(jù)隱私和安全。

 使用StreamSets構(gòu)建大數(shù)據(jù)管道的最佳實(shí)踐

借助大數(shù)據(jù)集成工具構(gòu)建數(shù)據(jù)管道時(shí)，遵循最佳實(shí)踐能讓過程更順暢。以下是5個(gè)建議的最佳實(shí)踐：

1. 從簡設(shè)計(jì)數(shù)據(jù)管道。

2. 采用標(biāo)簽與命名規(guī)范，便于追蹤管道和處理器的用途。

3. 每次重大更改后檢查管道，并編寫簡潔明了的提交說明，標(biāo)題應(yīng)有助于在需要回滾時(shí)選擇正確的草稿。

4. 定期測試管道和處理器。

5. 合理使用數(shù)據(jù)參數(shù)。