flink入门实战总结
随着大数据技术在各行各业的广泛应用,要求能对海量数据进行实时处理的需求越来越多,同时数据处理的业务逻辑也越来越复杂,传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。 在这种形势下,新型流式处理框架Flink通过创造性地把现代大规模并行处理技术应用到流式处理中来,极大地改善了以前的流式处理框架所存在的问题。 一句话:flink是etl的工具。 flink的层次结构: 其中, windows下flink示例程序的执行 简单介绍了一下flink在windows下如何通过flink-webui运行已经打包完成的示例程序(jar) 从flink-example分析flink组件(1)WordCount batch实战及源码分析 讲到DataSet的转换 从flink-example分析flink组件(2)WordCount batch实战及源码分析----flink如何在本地执行的? flink batch批处理如何在本地执行的 从flink-example分析flink组件(3)WordCount 流式实战及源码分析 flink stream流式处理如何在本地执行的? 使用flink Table &Sql api来构建批量和流式应用(1)Table的基本概念 介绍了Table的基本概念及使用方法 使用flink