etl

I am using SSIS to create some packages. I have gotten confused around the Data Conversion Transformation component and changing columns data types from Advanced editor If I can go into the advanced editor and change the data type of my output, why would I need to input the Data Conversion Transformation? Is this just down to preference or is there a difference between using both approaches? Before showing the difference between both approaches, i will try to give an overview of the data conversion types. Implicit vs Explicit conversion There are 2 different type of data type conversion:

本文转载自：http://blog.csdn.net/u013412535/article/details/43462537 ETL ，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。 ETL 一词较常用在 数据仓库 ，但其对象并不限于 数据仓库 。 ETL负责将分布的、异构数据源中的数据如关系数据、 平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。 数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间

ETL工程师: Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库， 数据仓库技术 没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。 数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的 数据存储 介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。 数据挖掘工程师: 数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的

ETL是数据仓库建设中一个最重要和具有挑战性的工作，也是一个耗时而且费劲的工作。 数据抽取 数据仓库与操作型系统数据抽取的有一些：数据仓库必须从不同的系统中抽取数据；必须根据增量装载工作和初始完全装载的变化来抽取数据；而操作型系统只需要一次性抽取和数据转换。 数据抽取的要点 数据源确认：确认数据的源系统和结构； 抽取方法：针对每个数据源，定义抽取过程是人工抽取还是基于工具抽取； 抽取频率：对于每个数据源，确定数据抽取的频率，每天、每星期、每季度； 时间窗口：对于每个数据源，表示抽取过程进行的时间窗口； 工作顺序：决定抽取任务中某项工作是否必须等到前面的工作成功完成才能开始； 异常处理：决定如何处理无法抽取的输入记录； 数据源确认 首先确认是否拥有源系统提供需要的数据；然后，从源系统中建立每一个数据元素对应的正确的数据源；进行论证来保证确认的数据源是真正需要的。 数据抽取技术 操作型系统的源数据一般来说分当前值和周期性状态两类。当前值，源系统中的大多数数据属于这个类型，这里存储的属性值代表当前时刻的属性值，一般这种值在数据库中只保存一条记录；周期性状态值，属性值存储的是每次变化发生时的状态，在每一个时间点，状态值根据新值有效的时候进行存储，这个类型的数据变化的历史存储在源系统本身中，一般在数据库中保存多条记录。 从源操作型系统中抽取数据主要分静态数据和修正数据两种类型

ETL 抽取方案 ETL 过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功 能，ETL 工具会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、 统计信息等。 数据抽取 数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。 从数据库中抽取数据一般有以下几种方式： 2.1.1 全量抽取 全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数 据库中抽取出来，并转换成自己的ETL 工具可以识别的格式。全量抽取比较简单。 2.1.2 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL 使 用过程中，增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获 方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到； 性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变 化数据的方法有： 2.1.2.1 触发器方式（又称快照式）： 在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源 表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表 中抽取数据，临时表中抽取过的数据被标记或删除。 优点：数据抽取的性能高，ETL 加载规则简单，速度快，不需要修改业务系统表结构

1、查询分析器 查询分析器主要工作是从不同来源的数据库中抽取对应指标值。 界面原型参考如下（仿 IREPORT）： 图1 数据来源切换 2、报表科目与查询分析字段映射 图2 字段映射 这里，字段选择的地方增加一列，用作选择数据科目的映射。 图3 SQL最后修改 图形化界面生成SQL后，可以手工修改SQL，点击OK生成XML格式的数据抽取脚本。 3、ETL工具 我使用的是Scriptella，这个工具的好处是，我不用去把查找指定数据的SQL用xml工具去重新解析封装，这种设计对于后期的产品维护，二次开发省了不少事。 在Scriptella启动之前，我们可以通过查询分析器来指定数据连接的数据表，通过对表的查询，获取到表中的数据字段，字段类型等信息，接着，在系统界面中设置字段对应的数据科目，设置过程可以选择老版本的配置映射进行修改，保存后生产新的映射模板。 在所有模板设置完成以后，出发脚本生成事件，生成供Scriptella执行的XML脚本。 XML实例如下： <!DOCTYPE etl SYSTEM " http://scriptella.javaforge.com/dtd/etl.dtd "> <etl> <connection id="db1" url="jdbc:oracle:thin:@uri_1:1521:orcl" user="username" password=

Are there best practices or well known methods for publishing/announcing (via metadata etc) what data has been loaded, verified and is currently available for reporting in a data warehouse? I've seen several in-house systems for doing this - some pretty fragile. Are there some well-known concepts or good search terms I could look for? I'm not sure exactly what you're looking for here, but what exactly are the users waiting for? If it's for the system to be available again after a well-defined and consistent daily ETL process runs, then it's easy to send an email, re-enable your reporting