etl

使用SQL Server 2008的事务日志传送功能备份数据库

微笑、不失礼 提交于 2020-02-28 07:06:14
引言:SQL Server的事务日志传送备份是仅次于镜像的高可靠性备份方案,可以达到分钟级的灾难恢复能力。其项目实施成本,又远小于镜像的投入,因此是一种非常实用的备份解决方案。本文详细讲解了事务日志传送备份的实施过程。 一:系统要求 数据库服务器,名称Server-DW,Windows Server 2003 X64,安装SQL Server 2008,需要备份的数据库为"JKL_DW"。 备份服务器,名称Server-ETL,Windows Server 2003 X32,安装SQL Server 2008。 二:准备工作 1、在Server-ETL上创建文件夹,用于存放备份数据库,此例中命名为"jklDW"。 2、在Server-ETL上创建文件夹,用于存放为备份数据传送过来的事务日志。此例中命名为"LogBackup",然后共享此文件夹,共享名称为"Server-ETL\LogBackup$"。 3、在Server-ETL上创建文件夹,用于存放为还原数据库复制的事务日志。此例中命名为"LogCopy",然后共享此文件夹,共享名称为"Server-ETL\LogCopy$"。 4、为数据库"JKL_DW"创建一个完整备份。 (1)备份数据库 ─ 常规页 在“目标”处选择将数据库备份文件的路径。 (2)备份数据库 ─ 选项页 覆盖媒体: 改为"备份到新媒体集并清除所有现有备份集"

How to fix “[OData Source [56]] Error: Cannot acquire a managed connection from the run-time connection manager.” error in SSIS?

这一生的挚爱 提交于 2020-02-25 04:07:26
问题 I am having problem when running SSIS which extracts data from SharePoint list. SSIS Package was running fine till 2 weeks back and suddenly the package is failing with this error: [OData Source [56]] Error: Cannot acquire a managed connection from the run-time connection manager. [SSIS.Pipeline] Error: OData Source failed validation and returned error code 0xC020801F. [SSIS.Pipeline] Error: One or more component failed validation. Error: There were errors during task validation Tried:

How to split a large Excel file into multiple small files in SSIS?

﹥>﹥吖頭↗ 提交于 2020-02-24 11:17:05
问题 I want to read an Excel file which is 250 Mb large and has more than 300 000 rows. So when I try to process it in Excel source in SSIS it takes too much time and at last fails to process. Can anyone tell me how to split the big file into small ones or any other method that can help? 回答1: Best way is to read data by chunks, i have done this to read huge tables from SQL databases. But to read big excel files, i implemented this in a C# application not in SSIS since it is more complicated. I

How to dynamically create subdags in Airflow

我是研究僧i 提交于 2020-02-20 10:53:29
问题 I have a main dag which retrieves a file and splits the data in this file to separate csv files. I have another set of tasks that must be done for each file of these csv files. eg (Uploading to GCS, Inserting to BigQuery) How can I generate a SubDag for each file dynamically based on the number of files? SubDag will define the tasks like Uploading to GCS, Inserting to BigQuery, deleting the csv file) So right now, this is what it looks like main_dag = DAG(....) download_operator =

How to dynamically create subdags in Airflow

♀尐吖头ヾ 提交于 2020-02-20 10:52:25
问题 I have a main dag which retrieves a file and splits the data in this file to separate csv files. I have another set of tasks that must be done for each file of these csv files. eg (Uploading to GCS, Inserting to BigQuery) How can I generate a SubDag for each file dynamically based on the number of files? SubDag will define the tasks like Uploading to GCS, Inserting to BigQuery, deleting the csv file) So right now, this is what it looks like main_dag = DAG(....) download_operator =

Integration Services创建ETL包

隐身守侯 提交于 2020-02-14 00:00:23
http://www.cnblogs.com/chiniao/archive/2009/12/23/1630595.html (转载) Microsoft Integration Services 是一个可以生成高性能数据集成解决方案(包括为数据仓库提取、转换和加载 (ETL) 包)的平台。 Integration Services 包括用于生成和调式包的图形工具和向导;用于执行工作流函数(如 FTP 操作)、执行 SQL 语句以及发送电子邮件的任务;用于提取和加载数据的数据源和目标;用于清除、聚合、合并和复制数据的转换;用于管理包执行和存储的管理服务,即 Integration Services;以及用于 Integration Services 对象模型编程的应用程序编程接口 (API)。 说明 : 本文是作者在学习Integration Services过程中的笔记,基本思路和内容都来自SQL Server 联机丛书。觉得园子里的BI方面的资源比较少,就放上来了。 学习本文需要建立在对Integration Services基本了解的基础。 如果没有任何了解,请参考一步一步学习BI(1)-认识Integration Services 本文中将用到的数据库为微软的 AdventureWorksDW 本文中将用到的文本数据在 这里 请先下载这两份数据文件,我们在接来实验中将要用到

Integration Services 学习

懵懂的女人 提交于 2020-02-13 23:55:04
概要 俗话说:“十年磨一剑”,Microsoft 通过5年时间的精心打造,于2005年浓重推出Sql Server 2005,这是自SQL Server 2000 以后的又一旷世之作。这套企业级的数据库解决方案,主要包含了以下几个方面:数据库引擎服务、数据挖掘、Analysis Services、Integration Services、Reporting Services 这几个方面,其中Integration Services (即SSIS),就是他们之间的中转站、纽带,将各种源头的数据,经ETL到数据仓库,建立多维数据集,然后进行分析、挖掘并将结果通过Reporting Services 送达给企业各级用户,为企业的规划决策、监督执行保驾护航。 SSIS 其全称是Sql Server Integration Services ,是Microsoft BI 解决方案的一大利器,是Sql Server 2000中DTS 一个升级之作。 无论是功能上,性能上,还是可操作方面都有很大的改进。且看下面的操作界面就可见一斑。 SQL Server 2000 DTS Sql Server 2008 SSIS 现在很多人都把SSIS 说成是一个ETL (Extract-Transform-Load)工具,我个人觉得不太准确,或许是大家基本上都把他做为ETL 使用

Integration Services 学习

蓝咒 提交于 2020-02-13 23:54:10
概要 俗话说:“十年磨一剑”,Microsoft 通过5年时间的精心打造,于2005年浓重推出Sql Server 2005,这是自SQL Server 2000 以后的又一旷世之作。这套企业级的数据库解决方案,主要包含了以下几个方面:数据库引擎服务、数据挖掘、Analysis Services、Integration Services、Reporting Services 这几个方面,其中Integration Services (即SSIS),就是他们之间的中转站、纽带,将各种源头的数据,经ETL到数据仓库,建立多维数据集,然后进行分析、挖掘并将结果通过Reporting Services 送达给企业各级用户,为企业的规划决策、监督执行保驾护航。 SSIS 其全称是Sql Server Integration Services ,是Microsoft BI 解决方案的一大利器,是Sql Server 2000中DTS 一个升级之作。 无论是功能上,性能上,还是可操作方面都有很大的改进。且看下面的操作界面就可见一斑。 SQL Server 2000 DTS Sql Server 2008 SSIS 现在很多人都把SSIS 说成是一个ETL (Extract-Transform-Load)工具,我个人觉得不太准确,或许是大家基本上都把他做为ETL 使用

Integration Services 学习

我只是一个虾纸丫 提交于 2020-02-13 23:53:23
概要 俗话说:“十年磨一剑”,Microsoft 通过5年时间的精心打造,于2005年浓重推出Sql Server 2005,这是自SQL Server 2000 以后的又一旷世之作。这套企业级的数据库解决方案,主要包含了以下几个方面:数据库引擎服务、数据挖掘、Analysis Services、Integration Services、Reporting Services 这几个方面,其中Integration Services (即SSIS),就是他们之间的中转站、纽带,将各种源头的数据,经ETL到数据仓库,建立多维数据集,然后进行分析、挖掘并将结果通过Reporting Services 送达给企业各级用户,为企业的规划决策、监督执行保驾护航。 SSIS 其全称是Sql Server Integration Services ,是Microsoft BI 解决方案的一大利器,是Sql Server 2000中DTS 一个升级之作。 无论是功能上,性能上,还是可操作方面都有很大的改进。且看下面的操作界面就可见一斑。 SQL Server 2000 DTS Sql Server 2008 SSIS 现在很多人都把SSIS 说成是一个ETL (Extract-Transform-Load)工具,我个人觉得不太准确,或许是大家基本上都把他做为ETL 使用

3_多易教育之《yiee数据运营系统》数仓概念篇之一

ε祈祈猫儿з 提交于 2020-02-07 01:21:03
目录 一、什么是数据仓库 二、数据库vs数据仓库 1、数据库 2、数据库vs数据仓库 三、报表vs数据可视化vs ETL 1、报表 2、数据可视化 3、ETL 四、数仓分析主题 1、数仓主题的含义 2、电商行业数仓核心主题 1)、总体运营主题 2)、网站流量类主题 3)、销售转化类主题 4)、客户价值类主题 5)、商品类主题 6)、市场营销活动指标 7)、风控类指标 8)、市场竞争指标 3、本项目要实现的分析主题 一、什么是数据仓库 概念上:数据仓库,英文名称为Data WareHouse,可简写为DW或DWH。 数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库(Data Warehouse)是一个 面向主题的(Subject Oriented)、集成的( Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的 数据集合,用于支持管理、运营决策。 (通俗来说,数仓就是一个数据备份和数据分析的系统) 小提示:反应历史变化的含义 二、数据库vs数据仓库 1、数据库 通常指的是 数据库软件 ,比如mysql,oracle,sqlserver,db2 数据库应用场景1:联机事务处理 数据库软件用的最多的应用场景