玩转热门框架 用企业级思维 开发通用够硬的大数据平台

蓝咒 提交于 2020-08-08 05:58:44

课程分析了主流企业的大数据架构、带领大家构建自己的通用型大数据平台。从企业需求入手,构建集数据采集、数据存储、数据处理与分析、BI应用、权限管理、系统监控等于一体的大数据应用平台,内容涵盖各类开源组件基础知识、优化技巧、应用场景和常见面试问题等,帮助我们快速掌握大数据平台开发技术,迅速建立大数据技术的宏观的认识。最后实现了可视化展示。非常适合想要通揽大数据全貌、了解企业级开发的你

 

第1章 课程导学与学习指南
本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示,课程整体安排以及如何学习更高效。

第2章 认识企业中的大数据平台
为什么要有大数据平台?大数据平台究竟是为了解决什么问题产生的?如何判断一个大数据平台的好坏?在设计一个数据平台时,需要注意哪些,有什么步骤。各大企业现有的解决方案有哪些,常见的技术栈有哪些,我们自己设计的这个通用的大数据平台是什么结构。...

第3章 大数据平台 —— 数据仓库之离线&实时
你真的理解数据仓库是什么吗?数据仓库如何进行分层,为什么要分层呢?分层一定好吗?带你理解数据仓库,逐步掌握离线数仓工具Hive。对比离线数仓和实时数仓,了解实时数仓常见架构。

第4章 大数据平台——数据仓库之权限管理
解决三大问题:数仓安全问题,对比常见权限认证框架,使用Ranger开发数仓权限模块;数据来源问题,对常用数据采集工具进行介绍,使用DataX进行数据采集;数仓管理问题,介绍数据治理的概念及ApacheAtlas

第5章 大数据平台 —— 调度系统
解决离线批处理任务的定时执行问题,对主流调度框架Azkaban进行架构介绍、特性讲解和部署应用。通过Java程序调用Azkaban相关接口,实现创建任务、调度任务功能,实现API接口封装

第6章 大数据平台 —— 计算引擎
平台的计算引擎是基于Spark构建的,依托了Yarn进行资源调度。本章从Spark架构、核心介绍及部署开始,进行Spark部分开发。之后接入Spark SQL模块。最后介绍了Spark的一些高阶调优技巧。

第7章 大数据平台建设 —— SQL查询引擎
介绍SQL On Hadoop 方案。对Presto架构和应用做了一些介绍,利用Presto作为底层的SQL查询引擎,实现快速查询和多数据源查询。涉及Presto的配置优化,自定义函数、EventListener、以及通用UDF的开发,最后完成Presto On Yarn部署

第8章 大数据平台建设 —— 监控预警
集群监控能提高资源利用率,有效管理整个集群,本章对常见集群的预警方案做了介绍和应用,最后通过Ganafa展示项目监控数据

第9章 大数据平台建设 —— 管理整合、任务定制
整合前面章节中开发的数仓管理功能,整合数仓权限、数据治理和数据采集,通过界面化配置实现数据采集任务定制。实现任务调度功能,实现shell命令、JAVA程序、Python程序、Spark程序的运行和管理

第10章 系统集成及可视化
实现多引擎的数据查询及可视化模块,生成图表进行展示。将前面的数据仓库、调度系统、SQL引擎、计算引擎、预警监控系统、元数据管理系统等等,如何将他们集成到一起构建大数据平台

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!