派生需求

前一篇文章 SSIS 学习（2）：数据流任务（上） ，介绍了如何创建一个简单的ETL包，如何通过一个简单的数据流任务，将一个文本文件的数据导入到数据库中去。这些数据都保持了它原有的本色，一个字符不多，一个字符地少导入，但是在实际应用过程中，可能很少有这种情况，就拿IisLog文件来说吧，其中包含有：请求成功的记录（sc-Status=200），也有请求失败的记录；有网页（比如：*.aspx、*.htm、*.asp、*.php等）、有图片、有样式表文件（*.CSS)、有脚本文件（*.js)等，可谓是鲜花与毒草并存，精华与糟铂同居啊，我们如何根据不同的需求，把其中的鲜花与精华提炼出来呢，这就是我们今天要讲的重点： 数据流转换 。 　　在进行数据流转换之前，我们先介绍一下使用场景：以IISLOG为依据，进行网站点击率分析（IP & PV 分析），具体需求如下： 　　（1）分析一段时间内，网站点击率的变化趋势。同时还需要知道各个周未、各个节假日网站的流量情况。 　　（2）分析一天内，各时段（以小时为单位）网站的压力情况。 　　（3）了解网站客户群分别来自哪些国家，哪些地区。 　　为了实现这些需求，我们建立了如下的数据模型，请看： 代码 USE [ IisLog ] GO --建立事实表 CREATE TABLE [ dbo ] . [ IISLog ] ( [ lngID ] [

面向对象编程的主要目的之一是提供可重用的代码。开发新项目，尤其是当项目十分庞大时，重用经过测试的代码比重新编写代码要好得多。使用已有的代码可以节省时间，由于已有的代码已被使用和测试过，因此有助于避免在程序中引入错误。另外，必须考虑的细节越少，便越能专注于程序的整体策略。 C++类提供了更高层次的重用性。目前，很多厂商提供了类库，类库由类声明和实现构成。因为类组合了数据表示和类方法，因此提供了比函数库更加完整的程序包。例如，单个类就可以提供用于管理对话框的全部资源。通常，类库是以源代码的方式提供的，这意味着可以对其进行修改，以满足需求。然而，C++提供了比修改代码更好的方法来扩展和修改类。这种方法叫作类继承，它能够从已有的类派生出新的类，而派生类继承了原有类（称为基类）的特征，包括方法。正如继承一笔财产要比自己白手起家容易一样，通过继承派生出的类通常比设计新类要容易得多。下面是可以通过继承完成的一些工作。 可以在已有类的基础上添加功能。例如，对于数组类，可以添加数学运算。 可以给类添加数据。例如，对于字符串类，可以派生出一个类，并添加指定字符串显示颜色的数据成员。 可以修改类方法的行为。例如，对于代表提供给飞机乘客的服务的Passenger类，可以派生出提供更高级别服务的FirstClassPassenger类。 当然，可以通过复制原始类代码，并对其进行修改来完成上述工作

前言 传统的数据系统就是所谓的『大数据』技术，这是一个被创造出来的名词，代表着新的技术门槛。近几年得益于产业的发展、业务的创新、数据的爆发式增长以及开源技术的广泛应用，经历多年的磨炼以及在广大开发者的共建下，大数据的核心组件和技术架构日趋成熟。特别是随着云的发展，让『大数据』技术的使用门槛进一步降低，越来越多的业务创新会由数据来驱动完成。 『大数据』技术会逐步向轻量化和智能化方向发展，最终也会成为一个研发工程师的必备技能之一，而这个过程必须是由云计算技术来驱动以及在云平台之上才能完成。应用系统和数据系统也会逐渐融合，数据系统不再隐藏在应用系统之后，而是也会贯穿在整个业务交互逻辑。传统的应用系统，重点在于交互。而现代的应用系统，在与你交互的同时，会慢慢地熟悉你。数据系统的发展驱动了业务系统的发展，从业务化到规模化，再到智能化。 业务化：完成最基本的业务交互逻辑。 规模化：分布式和大数据技术的应用，满足业务规模增长的需求以及数据的积累。 智能化：人工智能技术的应用，挖掘数据的价值，驱动业务的创新。 向规模化和智能化的发展，仍然存在一定的技术门槛。成熟的开源技术的应用能让一个大数据系统的搭建变得简单，同时大数据架构也变得很普遍，例如广为人知的Lambda架构，一定程度上降低了技术的入门门槛。但是对数据系统的后续维护，例如对大数据组件的规模化应用、运维管控和成本优化，需要掌握大数据