一、分析
1．什么是逻辑数据映射？它对ETL项目组的作用是什么？
What is a logical data mapping and what does it mean to the ETL team?
答：
逻辑数据映射〔Logical Data Map〕用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Excel的格式保存如下的信息：
目标表名：
目标列名：
目标表类型：注明是事实表、维度表或支架维度表。
SCD类型：对于维度表而言。三种SCD〔Slowly Changing Dimension〕技术
SCD1直接修改原维表信息，不保存任何维历史信息。
SCD2创建新的记录而不删除或修改原有维信息。可通过为每条记录设定过期时间、生效时间两个字段来区分各历史记录和当前记录〔历史记录的过期时间均早于当前记录的生效时间〕。
SCD3在维表中定义历史信息字段，只保存有限的历史信息〔此技术很少应用〕
源数据库名：源数据库的实例名，或者连接字符串。
源表名：
源列名：
转换方法：需要对源数据做的操作，如Sum(amount)等。
逻辑数据映射应该贯穿数据迁移项目的始终，在其中说明了数据迁移中的ETL策略。在进行物理数据映射前进行逻辑数据映射对ETL项目组是重要的，它起着元数据的作用。项目中最好选择能生成逻辑数据映射的数据迁移工具。
-----------------------------补充：
逻辑数据映射分为两种:
1: 模型映射:
从源模型到DW目标模型之间的映射类型有：
一对一：一个源模型的数据实体只对应一个目标模型的数据实体。如果源类型与目标类型一致，则直接映射。如果两者间类型不一样，则必须经过转换映射。
一对多：一个源模型的数据实体只对应多个目标模型的数据实体。在同一个数据存储空间，常常出现会一个源实体拆分为多个目标实体的情况下。在不同的存储空间中，结果会对应到不同的存储空间的实体。
一对零：一个源模型的数据实体没有与目标模型的数据实体有对应，它不在我们处理的计划范围之内。
零对一：一个目标模型的数据实体没有与任何一个源数据实体对应起来。例如只是根据设
计考虑，时间维表等。
多对一：多个源模型的数据实体只对应一个目标模型的数据实体。
多对多：多个源模型的数据实体对应多个目标模型的数据实体。
2: 属性映射
一对一：源实体的一个数据属性列只对应目标实体的一个数据属性列。如果源类型与目标类型一致，则直接映射。如果两者间类型不一样，则必须经过转换映射。
一对多：源实体的一个数据属性列只对应目标实体的多个数据属性列。在同一个实体中，常常出现会一个源属性列拆分为目标的多个属性列情况。在不同实体中，结果会对应到不同的实体的属列。
一对零：一个源实体的数据属性列没有与目标实体的数据属性列有对应，它不在我们处理的计划范围之内。
零对一：一个目标实体的数据属性列没有与任何一个源数据属性列对应起来。例如只是根
据设计考虑，维表和事实表中的时间戳属性，代理健等。
多对一：源实体的多个数据属性列只对应目标实体的一个数据属性列。
多对多：源实体的多个数据属性列对应目标实体的多个数据属性列。
作用:
1 为开发者传送更为清晰的数据流信息。映射关系包括有关数据在存储到DW前所经历的各种变化的信息，对于开发过程中数据的追踪审查过程非常重要。
2 把ETL过程的信息归纳为元数据，将数据源结构，目标结构，数据转换规则，映射关系，数据的上下文等元数据保存在存储知识库中，为元数据消费者提供很好的参考信息，追踪数据来源与转换信息，有助于设计人员理解系统环境变化所造成的影响；
开发设计者可以轻松的答复以下的问题：
1、这些数据从那里来？
2、这样的结果通过什么样的计算和转化得来？
3、这些数据是如何组织的？
4、数据项之间有什么联系？
5、如果源发生变化，有那几个系统，目标受影响？
2．在数据仓库项目中，数据探索阶段的主要目的是什么？
What are the primary goals of the data discovery phase of the data warehouse project?
答：
在逻辑数据映射进行之前，需要首先对所有的源系统进行分析。对源系统的分析通常包括两个阶段，一个是数据探索阶段〔Data Discovery Phase〕，另一个是异常数据检测阶段。
数据探索阶段包括以下内容：
A、收集所有的源系统的文档、数据字典等内容。
B、收集源系统的使用情况，如谁在用、每天多少人用、占多少存储空间等内容。
C、判断出数据的起始来源〔System-of-Record〕。
D、通过数据概况〔Data Profiling〕来对源系统的数据关系进行分析。
数据探索阶段的主要目的是理解源系统的情况，为后续的数据建模和逻辑数据映射打下坚实的基础。
3．如何确定起始来源数据？
How is the system-of-record determined?
如何确定起始来源数据？
答：
这个问题的关键是理解什么是System-of-Record。System-of-Record和数据仓库领域内的其他很多概念一样，不同的人对它有不同的定义。在Kimball的体系中，System-of-Record
是指最初产生数据的地方，即数据的起始来源。在较大的企业内，数据会被冗余的保存在不同的地方，在数据的迁移过程中，会出现修改、清洗等操作，导致与数据的起始来源产生不同。
起始来源数据对数据仓库的建立有着非常重要的作用，尤其是对产生一致性维度来说。我们从起始来源数据的越下游开始建立数据仓库，我们遇到垃圾数据的风险就会越大。
二、架构
4．在ETL过程中四个基本的过程分别是什么？
What are the four basic Data Flow steps of an ETL process?
在ETL过程中四个基本的过程分别是什么？
答：
Kimball数据仓库构建方法中，ETL的过程和传统的实现方法有一些不同，主要分为四个阶段，分别是抽取〔extract〕、清洗〔clean〕、一致性处理〔confirm〕和交付〔delivery〕，
简称为ECCD。
A、抽取阶段的主要任务是：
读取源系统的数据模型。
连接并访问源系统的数据。
变化数据捕获。
抽取数据到数据准备区。
B、清洗阶段的主要任务是：
清洗并增补列的属性。
清洗并增补数据结构。
清洗并增补数据规则。
增补复杂的业务规则。
建立源数据库描述数据质量。
将清洗后的数据保存到数据准备区。
C、一致性处理阶段的主要任务是：
一致性处理业务标签，即维度表中的描述属性。
一致性处理业务度量及性能指标，通常是事实表中的事实。
去除重复数据。
国际化处理。
将一致性处理后的数据保存到数据准备区。
D、交付阶段的主要任务是：
加载星型的和经过雪花处理的维度表数据。
产生日期维度。
加载退化维度。
加载子维度。
加载1、2、3型的缓慢变化维度。
处理迟到的维度和迟到的事实。
加载多值维度。
加载有复杂层级结构的维度。
加载文本领实到维度表。
什么是关系数据库处理事实表的代理键。
加载三个基本类型的事实表数据。
加载和更新聚集。
将处理好的数据加载到数据仓库。
从这个任务列表中可以看出，ETL的过程和数据仓库建模的过程结合的非常紧密。换句话说，ETL系统的设计应该和目标表的设计同时开始。通常来说，数据仓库架构师和ETL系统设计师是同一个人。
5．在数据准备区中允许使用的数据结构有哪些？各有什么优缺点？
What are the permissible data structures for the data staging area? Briefly describe the pros. and cons. of each.
在数据准备区中允许使用的数据结构有哪些？各有什么优缺点？
答：
A、固定格式的文本文件。〔Flat File〕
Flat File指的是一种保存在系统上的一种文本文件格式，它以类似数据库的表的方式用行和列来保存数据。这种文件格式经常用来进行数据交换。用于保存数据不太合适。
B、XML数据集。
多用于数据交换，用户保存数据不太合适。
C、关系数据库的表。
保存数据的较理想选择。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论