基于阿里云搭建实时数据仓库项目学习笔记

给你一囗甜甜゛ 提交于 2020-02-17 01:43:04

实现思思路:

一、项目需求分析

二、阿里云技术构架

三、技术构架

四、系统架构设计

五、业务流程

六、电商表结构

具体实施:

一、业务数据准备

二、缓冲业务数据

三、同步业务数据

     主要对比之前做的ETL数据仓库项目,学习一下阿里云数仓方法,顺便了解一下阿里云与相关的大数据产品。借鉴和学习好的方法和思路。

一、项目需求分析

1、实时采集埋点日志数据

2、实时采集业务西数据

3、对采集到的数据进行清洗和处理

4、保存数据到分析型数据库

5、对结果进行可视化展示

二、阿里云技术框架

     上面就是阿里云的技术框架与一些D传统的大数据解决方法技术对比。通过对比可以看出,虽然使用的工具有差异,但是大致的框架结构的作用都是大同小异的。

注:RDS:关系型数据库

      DTS:(Data Database Server),数据发迁移、数据订阅、数据实时同步于一体的传输服务

三、技术架构

四、系统架构设计

上图为系统的总体设计框架图,通过整体的架构了解到每部分的具体功能以及如何实现的。

五、业务流程

六、电商表结构

上面是部分表的展现,事实表的具体的信息

具体实施:

      具体实施是需要购买一些阿里云产品,价格也还比较便宜。由于暂时还未涉及到具体实施,就没有购买,如果感兴趣的可以去自己去实践。

参考:阿里云实时数仓实战

链接:https://edu.aliyun.com/lesson_1966_17204?spm=5176.10731542.0.0.569b40fa47Sd8l#_17204

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!