视频: Microsoft Azure OpenDev—June 2017 2024
数据选择和提取服务的主要目的是从数据源中(查找)中选择 您要移入数据仓库,然后将数据提取 (提取)为可以为质量保证服务准备好的表单。 您可以为数据仓库环境使用两种不同类型的选择和提取服务之一: <! - 1 - >
稍后获取所有数据并将其排序:
查找并提取要加载到数据仓库中的所有数据元素,而不管特定元素是否具有之前被提取。-
面向改变: 查找并提取刚刚添加到数据源或自上次提取后更新的数据元素。
-
<! - 2 - > 为了执行提取,第一种类型的服务需要较不复杂的逻辑。但是,与第二种类型的面向变更的服务相比,您必须处理更大的数据量(有时数量更多)。
您可以比较一行数据与上次提取过程的日期和时间,以确定是否需要选择和提取数据。但是,如果数据存储在没有时间戳的文件(例如VSAM文件)中,则此过程可能会更加困难。
当源数据已从文件或数据库中删除时,您可能也面临一个挑战。如果数据仓库环境的业务规则要求从仓库中删除相应的数据,则必须有办法检测自上次提取过程以来所做的删除,以确保在仓库中进行适当的删除。选择和提取的结果就是准备进行额外处理的数据提取:检查数据质量。