数据的搬运工——数据集成

2024-01-26 - 乐天堂fun88动态

数据的搬运工——数据集成

大数据平台并不生产数据，大大都原始数据着实都泉源于营业系统，以是，我们需要做好数据“搬运”行动。而这就牵涉到了“数据集成”这个看法。

我不生产数据，我只是数据的搬运工。在大数据平台中，是不生产数据的，或者说原始数据都是泉源于营业系统。以是，我们需要做的第一件事，就是将营业系统的数据搬运到数据平台。改用那句耳熟能详的话，我不生产数据，我只是数据的搬运工。这个数据的搬运工，就是数据平台的第一个�？�——数据集成。

一、搬运工都有哪些称呼

在举行产品设计的历程中，关于统一个产品，经�；嵊龅街种指餮拿�，这些名称似乎可以指代统一个产品，若是细究起来，似乎也有些区别。在数据集成产品设计时，也会遇到类似的问题。这些相同的名称主要是数据集成、数据同步、数据收罗。有时间也可能听到数据管道、数据传输等等。

我通过大模子搜索了一下区别。

数据集成：指的是将差别数据源、差别数据类型以及差别名堂的数据整合到一起，形成一个统一的数据视图或数据客栈，以便后续的剖析和处置惩罚。数据集成通常涉及到数据的抽取、转换、洗濯和加载等多个办法，同时也需要解决数据名堂转换、数据质量问题以及数据清静性等问题。数据同步：则是将数据从一个数据源复制或传输到另一个数据源，以坚持两个数据源中的数据一致性。数据同步通常涉及到实时或准实时的数据传输和复制，可以用于漫衍式系统中的数据复制、备份以及容灾等场景。似乎，数据集成更注重数据的整合和数据处置惩罚，而数据同步更注重数据的传输和一致性。在大数据领域，数据收罗和数据集成是两个亲近相关的看法，但它们在数据处置惩罚历程中饰演的角色和目的有所差别。数据收罗主要是通过工具或手艺，从系统外部获取数据并输入到系统内部的历程。它可以是手工的，也可以是自动化的。在这个历程中，获取的数据可能需要举行洗濯、名堂转换等预处置惩罚，以便后续的数据集成和使用。数据集成则是将差别泉源、差别名堂、差别性子的数据在逻辑上或物理上有机地集中起来，形成一个周全、统一的数据视图或数据客栈的历程。数据集成通常涉及到数据的抽取、转换、洗濯和加载等多个办法，它的主要目的是为企业提供周全的数据共享和数据剖析能力。

因此，可以说数据收罗是数据集成的基础和条件，数据集成则是数据收罗的后续处置惩罚和效果。没有数据收罗，数据集成绩缺乏数据泉源；没有数据集成，则无法有用使用和治理大数据资产。在这个界说内里数据收罗是数据集成之前的一个办法。小我私家感受在实时领域是这样的，实时获取到数据的变换相当于数据的收罗。

以上都是通过大语言模子给出的结论。对这些名称有一个基本看法之后，团结现实的公司习惯、部分历史使用习惯、以及上下文语境来做详细的区分。小我私家习惯数据集成和数据同步这两个词大部分情形下会混用。若是要做区分的话，当有向导式和拖拽式两种形式的时间。拖拽式的可以称之为数据集成，由于拖拽式的重数据的转换和整合。向导式的可以称之为数据同步，由于向导式的重数据的传输和一致性。而数据收罗，小我私家相对混用少些，小我私家主要明确为将数据库的转变收罗上来。

再次说明，完全是小我私家角度的划分。

二、搬运历程中的处置惩罚

在举行数据同步的历程中，需不需要举行处置惩罚，虽然数据同步经常和**ETL（提�。�extract）、转换（transform）、加载（load））**放在一起做较量，可是现实上是不是需要在同步历程中举行转换是可以举行商讨的。

1. 一比一同步

同步数据的目的是保存营业的数据历史，若是要保存历史那么过失的历史也是历史。以是这种同步就是完全和营业系统数据一比一的同步，纵然同步过来的数据是有异常的或者说不标准的。只有这样才华真正的如实的保存了营业的历史，当爆发数据异常举行数据追溯的时间，才华够找到最原始的营业数据。小我私家以为这个想法很好，能够完全的保存营业历史数据。可是有一个问题就是过失的数据营业系统可以随时改的。可是在离线场景下的同步不会随时举行的。并且感受这种太极端，对职员，程序要求都较量高。

2. 在同步历程中举行转换洗濯

第二种就显的要求没有那么的严酷，相对宽松些�？梢栽谡飧隼讨芯傩行屑侗鸬脑黾酢⒐娣痘�。也可以举行字段的聚合、关联、转换等等操作。着实对产品设计来说，支持了这种形式，就支持了一比一的同步。在同步历程中有这个转换、聚合的能力，不使用的话就是一比一同步了。这样说来一比一同步更多的似乎是一个规范、一个要求。

三、搬运的目的表类型

将营业数据搬运到数据平台的目的就是保存历史、做到数据可追溯。可是营业系统的数据是时时都在转变的，那么怎么保存转变的数据的历史就是一个目的表建表结构的问题。

这着实算是数据客栈建模领域的内容，为什么在这里说？先说一下目的表常见的几种形式。全量表、切片表、拉链表。

1. 全量表

全量表和名字一样，就是数据全量同步到目的端。试用于同步码表等数据变换不大的表。

2. 切片表

切片表又分为增量切片，和全量切片。全量切片就是将天天的全量营业数据放在当天禀区中。增量切片就是仅仅把当天的增量放在当天的分区中。

3. 拉链表

拉链表式最重大的。需要有一个唯一键，需要知道营业数据是否转变，转变之后，就在目的表中新增一条，纪录转变数据的最先时间、竣事时间，有的还会有版本、是否目今状态等字段（拉链表也依赖于同步的时间粒度，细于时间粒度，可能会保存无法将数据同步到目的端情形）。

为什么要在这里说，由于数据集成产品需要在功效上支持这些目的表的建表类型。全量表的全量同步。切片表的增量切片，需要能够过滤出来逐日的增量数据。拉链表的重大逻辑，是否需要举行逻辑固化（我只在Powercenter中看到过拉链表的逻辑固化。自己也设计过向导式的拉链表逻辑固化）。这些都需要在数据同步历程中思量到。不但仅能够将数据搬运到目的端，并且还需要以一种合理的目的端表结构需要将数据搬运到目的端。

四、搬运的交互形式

在搬运历程中，交互形式一样平常有三种形式，剧本式、拖拽式、向导式。

1. 剧本式

顾名思义，剧本式就是写一个脚原来举行数据同步。这种形式更多的是偏手艺，在产品设计中一样平常不会过多涉及。

常见的剧本式同步：

古老的是Sqoop了，他实现了却构化数据和Hadoop之间的批量数据迁徙，最初由Apache软件基金会开发，可是在2016年，该项目已经被终止了。在阿里云Dataworks中的数据集成DataX，也会有的剧本界面的数据同步。是由于有些非结构化的数据源，没有表结构类型，在剧本界面中能够越发无邪。

2. 拖拽式

拖拽类的数据集成类产品，就是在一个画布中拖拽各个算子，组成一个ETL的DAG图，从而实现数据的同步。

常见的拖拽式的同步：

最著名的算是Informatica Powercenter，这款产品在外洋似乎着名度很高，终年在Genter象限的向导这位置。但在海内似乎只有一些银行、等金融行业使用多些，在互联网公司更是近乎没什么声量。IBM Datastage 一款和powercenter类似的软件。Kettle一款开源的免费的数据ETL工具。若是有拖拽式的数据同步需求，这三个产品也常�；岜焕谝黄鹱鼋狭�。各有各的特点吧。

单独提一句，当使用拖拽式的数据集成时，着实几多有了一些数据开发的性子。可是若是细划分的话，和拖拽式的数据开发照旧有些区别的。这个在《常见的数据开发形式》中的拖拽式数据开发中说下区别。

3. 向导式

向导式的数据集成，主要是指通过输入框或者选择设置框，就可以完成使命的建设。不需要写代码，也不需要拖拽算子，这种开发形式我界说为向导式。

大部分的云厂商的数据集成/数据同步类产品均是向导式的模式。这里就不过多说了。

五、时效性

小我私家明确数据集成只分为两大类，离线数据集成和实时的数据集成。至于全量同步、增量同步等等，只是这两种大形式下的一种选项。而这两种形式，又均可以使用剧本式、拖拽式或者向导式来实现。形式不主要，实质是实时照旧离线才主要，虽然设计页面的时间也会几多有些设置区别。

在失效性上，实时数据越来越受重视，尚有一些批流一体的看法，以是实时的数据集成需求也越来越多。

可是小我私家不以为离线的数据集成会被完全干掉。一方面——本钱，显然实时的本钱要比离线的本钱要高。一方面——手艺，实时集成之后一系列的手艺和离线集成是完全差别的，现有的手艺架构纷歧建都做好了准备。

尚有一方面就是历史习惯，以上面先容为例，切片表、拉链表等等均是离线场景下的，在后续先容中会发明有大宗的看法在离线场景下很顺畅，可是往往会自动的忽略实时场景。这可能也是由于实时的历史相对较短。在其他看法泛起的时间，并没有思量实时的场景。

六、支持的数据源类型

数据集成支持的数据源几多是一个平台能力的体现，支持的越多，可以明确为能力越强。差别数据源可能支持实时的形式、可能支持离线形式，也可能两种均支持。数据源大类上也有差别的划分：关系型数据库、大数据存储、新闻行列、文本文件等等。

这是从类型上划分，若是从接入数据源之后的操作上来分，就两类：有表结构的和没有表结构的。

1. 有表结构

有表结构的可以是关系型数据库、HIVE、Doris等等这类自己有表结构的。也可以是牢靠名堂的文本、JSON这类可以付与一个牢靠scheam的，这类需要举行数据平台有元数据治理能力，在《当我们谈元数据的时间，我们在谈什么》中会先容这一部分。这类有表结构的在交互时，以二维表格的形式在向导、或者拖拽中举行交互了。

2. 没有表结构

没有表结构的相对会重大些，有时间可以强制给这种没有表结构的授予一个表结构。有的时间也只能转换成剧本的形式来实现映射。这个详细数据源详细剖析了。

数据源支持几多体现能力强弱。同样，作为产品每种数据源可能都有其自身的特征，也需要举行个性化的设计，而产品司理又会将种种类型的数据源都熟悉到，小我私家感受也是数据集成类产品设计的一个贫困的点。

至于种种非结构化的文档、图片、音视频等等。都不在大数据平台这个领域内。之前也会提非结构化的大数据平台，非结构化的大数据治理。可是现在小我私家没有接触到特殊好的产品。

乐天堂fun88