Apache Flink

1、前言 项目有个需求，需要把一些没用影响业务逻辑的http请求改成异步请求，httpclient在4.0后提供新的api CloseableHttpAsyncClient可以使用，记录下使用过程。 2、网络调用类型 （1）传统BIO（Blocking IO） 同步阻塞式IO，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销，当然可以通过线程池机制改善。 （2）NIO(Not-Blocking IO) NIO：同步非阻塞式IO，服务器实现模式为一个请求一个线程，即客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求时才启动一个线程进行处理。 (3)AIO(NIO.2) 异步非阻塞式IO，服务器实现模式为一个有效请求一个线程，客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理。 3、CloseableHttpAsyncClient CloseableHttpAsyncClient是apache在4.0后提供AIO操作的api，基本使用如下 1）pom.xml引用如下 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId>

乐字节教育是集线上教育与线下培训于一体的全栈式教育机构，致力于研发高端IT技术，培养高端IT人才，让更多的人接受更好的教育是乐字节的教学理念。 今年夏天，乐字节推出Java架构师课程。课程使用国内唯一《业务驱动式项目实操》教学方案： 8个项目实操 2个源码级别实战 一个终极电商项目 项目流程： 本课程共含有以下篇章： 第一章：架构基础篇 第二章：高性能实战 第三章：分布式架构 第四章：微服务 第五章：电商订单实战 第六章：电商基础中台 第七章：电商大数据分析 第八章：电商原生云实战 第一章：架构基础 该篇章课程主要提升学生的基础知识包含工具的使用、设计模式以及常见的算法和数据结构，提升学生的技术硬件。课程主要包含设计工具篇(Maven、Git、IDEA)、计算机基础篇(Linux、常见数据结构、常见算法)以及源码提高篇(设计模式、源码品读)三个篇章。 一、课程核心技术点 工具篇提升工作开发效率，提高团队协作能力 计算机基础篇提升学生技术硬件，能够解决90%以上的算法面试问题 提高篇提升自学能力，能够快速定位到源码中核心脉络以及思想 二、课程适合哪些人群？ 主要针对有一定工作经验，希望能够快速和系统的提升编程基础知识以及掌握快速高效的阅读源码的技巧，并且通过高效的工具提升自我的开发效率和团队协作能力。 三、课程类型 项目\专题\理论+项目\基础 专题\理论\实践 四、课程内容 4.1

1. 背景 calcite作为一款开源的动态数据管理框架（ https://calcite.apache.org/ ），它具备很多典型数据库管理系统的功能，比如SQL解析、SQL校验、SQL查询优化、SQL生成以及数据连接查询等，但是又省略了一些关键的功能，比如Calcite并不存储相关的元数据和基本数据，不完全包含相关处理数据的算法等。 也正是因为Calcite本身与数据存储和处理的逻辑无关，所以这让它成为与多个数据存储位置（数据源）和多种数据处理引擎之间进行调解的绝佳选择。 Calcite所做的工作就是将各种SQL语句解析成抽象语法树（AST Abstract Syntax Tree），并根据一定的规则或成本对AST的算法与关系进行优化，最后推给各个数据处理引擎进行执行。 Calcite整体架构如下图所示： Hive，Flink，Storm都使用Calcite作为其SQL解析优化引擎。 2. Calcite适配器 这里需要提到一个重要的概念：Schema adapters（ https://calcite.apache.org/docs/adapter.html ） A schema adapter allows Calcite to read particular kind of data, presenting the data as tables within a

数据湖分析Data Lake Analytics是阿里云数据库自研的云原生数据湖分析系统，目前已有数千企业在使用，是阿里云 库、仓、湖战略高地之一 !!! 现紧急 招聘 【 数据湖平台工程师】 产品链接：https://www.aliyun.com/product/datalakeanalytics !!! 如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号： iteblog_hadoop 团队内部拥有多位Apache PMC&Committer，在国内外拥有良好的影响力，加入后您将与国内最顶尖的大数据、数据库领域专家一起工作，打造世界一流的数据湖分析服务能力!!! 业界趋势 ：数据湖是比大数据关注更多的词汇，未来5年数据湖同比以50%在高速发展。在全球多家云厂商，阿里云 数据湖分析 Data Lake Analytics 处于领先地位 !!! 岗位职责 负责产品云化，打造Serverless弹性多租户平台能力 负责平台的资源调度、高并发连接、多租户管理、安全、计量、被集成 等研发 负责商业化输出研发，包括公有云、集团、专有云、混合云等多种形态 生产问题的定位解决，系统性能的调优改进，业务需求的分析落地。 工作地可以open to 杭州， 深圳，北京 职位要求 熟悉JAVA，较好的架构意识、性能意识、清晰的代码能力 有平台相关经验

用户只需在前端简单配置下指标，系统即可自动生成大宽表，让用户查询到他所需要的实时数据，数据源支持跨库并支持多种目标介质。这样的数据全局实时可视化如何实现?本文从需求分析开始，分享自动生成SQL功能开发中运用到的设计模式和数据结构算法设计。 一 概述 ADC(Alibaba DChain Data Converger)项目的主要目的是做一套工具，用户在前端简单配置下指标后，就能在系统自动生成的大宽表里面查询到他所需要的实时数据，数据源支持跨库并支持多种目标介质。说的更高层次一点， 数据的全局实时可视化这个事情本身就是解决供应链数据“神龙效应”的有效措施(参考施云老师的《供应链架构师》[1]一书)。做ADC也是为了这个目标，整个ADC系统架构如下图所示： 架构解析： 初始数据来自于元数据中心。 经过元数据适配层后转换为内部格式数据。 调度中心把内部格式的数据传到计划中心，计划中心分析数据需求并建模，通过SQL生成器生成资源和SQL，分别通过告警中心、对账中心设定监控标准和对账标准。 对账中心定时对账，查看数据的对齐情况。 告警中心可以针对任务错误、延迟高等情况发送报警。 资源的生命周期管控在资源管理中心下，view删除时资源管理中心负责回收资源。 基础资源适配层主要借助集团基础资源管理能力串联阿里各类数据服务， 比如阿里云MaxComputer、Flink、阿里云AnalyticDB等

随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要， 商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。此外，随着 5G 技术的成熟、广泛应用， 对于工业互联网、物联网等数据时效性要求非常高的行业，企业就更需要一套完整成熟的实时数据体系来提高自身的行业竞争力。 本文从上述现状及实时数据需求出发，结合工业界案例、笔者的实时数据开发经验， 梳理总结了实时数据体系建设的总体方案，本文主要分为三个部分： 第一部分主要介绍了当下在工业界比较火热的实时计算引擎 Flink 在实时数据体系建设过程中主要的应用场景及对应解决方案； 第二部分从实时数据体系架构、实时数据模型分层、实时数据体系建设方式、流批一体实时数据架构发展等四个方面思考了实时数据体系的建设方案； 第三部分则以一个具体案例介绍如何使用 Flink SQL 完成实时数据统计类需求。 一、Flink 实时应用场景 目前看来，Flink 在实时计算领域内的主要应用场景主要可分为四类场景， 分别是实时数据同步、流式 ETL、实时数据分析和复杂事件处理，具体的业务场景和对应的解决方案可详细研究下图， 文字层面不再详述。 二、实时数据体系架构 实时数据体系大致分为三类场景：流量类、业务类和特征类，这三种场景各有不同。 在数据模型上，流量类是扁平化的宽表

大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。业务通常已不再满足滞后的分析结果，希望看到更实时的数据，从而在第一时间做出判断和决策。典型的场景如电商大促和金融风控等，基于延迟数据的分析结果已经失去了价值。 如果想及时了解 Spark 、Hadoop或者HBase相关的文章，欢迎关注微信公众号： iteblog_hadoop 为了同时满足大数据量和高时效性的双重要求，实时数仓和在线交互式（ad-hoc）分析技术，及相应的基础组件应运而生，并快速发展。其中包括通用计算引擎（如 Spark 和 Flink ），交互式分析系统（如Presto，Druid和ClickHouse），数据湖框架（如Iceberg，Hudi和Delta Lake），和底层存储（如Ozone）。 本文主要介绍基于Iceberg的特性，通过Spark和 Flink ，如何打造T+0实时数仓，以及相应功能在Iceberg社区的进展。 文章目录 1 离线和实时数仓 2 基于Iceberg打造实时数仓 3 总体框架 4 ACID事务 5 Flink写入和读取Iceberg 6 基于Spark进行数据修正 7 增量消费Iceberg中的数据 8 数据和元数据的压缩合并 9 总结 10 参考 离线和实时数仓

简介： 后疫情时代的新社会模式及经济形态必将催生出新的商业模式，在线业务及相关应用场景的流量呈现井喷式发展，常规的离线系统及离线机器学习平台已无法满足业务发展要求。 作者：高旸（吾与），阿里巴巴高级技术专家 1. 前言 随着互联网“人口红利”的“消耗殆尽”，基于“T+1”或者离线计算的机器学习平台及推荐系统转化率与效果日趋“平淡”。后疫情时代的新社会模式及经济形态必将催生出新的商业模式，在线业务及相关应用场景的流量呈现井喷式发展，常规的离线系统及离线机器学习平台已无法满足业务发展要求。人口红利吃尽之后，基于大数据及AI平台的业务系统在时间维度上的思考将变得至关重要，通过业务系统实时化向时间要价值已经成为主流趋势。基于流式计算引擎的在线机器学习平台将越来越被重视， 通过增量模型的准实时或实时推荐系统更能“因时而异” 充分捕捉目标用户瞬息万变的需求，从而进行精准推荐和变现。实时推荐系统也从最早的电商场景， 扩展到社交场景， 在线教育场景， 游戏场景及更广阔的在线场景。 本文介绍重点介绍基于阿里云大数据及AI产品家族的实时计算Flink及PAI Alink机器学习算法平台，以及该产品组合在实时推荐场景（适用于电商、游戏及在线教育解决方案）、实时评分卡场景（适用于金融、安全及营销风控解决方案）以及异常检测场景（适用于工业领域及其他产业互联网领域）的场景应用。 2.

腾讯云 CKafka 作为大数据架构中的关键组件，起到了数据聚合，流量削峰，消息管道的作用。在 CKafka 上下游中的数据流转中有各种优秀的开源解决方案。如 Logstash，File Beats，Spark，Flink 等等。本文将带来一种新的解决方案：Serverless Function。其在学习成本，维护成本，扩缩容能力等方面相对已有开源方案将有优异的表现。 作者简介：许文强，腾讯云 Ckafka 核心研发，精通 Kafka 及其周边生态。对 Serverless，消息队列等领域有较深的理解。专注于 Kafka 在公有云多租户和大规模集群场景下的性能分析和优化、及云上消息队列 serverless 化的相关探索。 Tencent Cloud Kafka 介绍 Tencent Cloud Kafka 是基于开源 Kafka 引擎研发的适合大规模公有云部署的 Cloud Kafka。是一款适合公有云部署、运行、运维的分布式的、高可靠、高吞吐和高可扩展的消息队列系统。它 100% 兼容开源的 Kafka API，目前主要支持开源的 0.9, 0.10, 1.1.1, 2.4.2 四个大版本 ，并提供向下兼容的能力。 目前 Tencent Cloud Kafka 维护了超过 4000+ 节点的集群，每日吞吐的消息量超过 9 万亿+条，峰值带宽达到了 800GB+/s,

冰眼冷链物流监控平台学习总结 采用的的主要技术有： netty、springboot、springcloud、 kafka、flink、redis、druid/ vue等 资料： https://pan.baidu.com/s/1KZf1Gj4-UGleJjWiLfStSw 提取码：8wyv 解决方案： 监控部分采用分布式微服务架构，同时针对海量物联网数据的统计和查询引入了专门的解决方案。 基于物联网及大数据实时计算技术.... 来源： oschina 链接： https://my.oschina.net/u/4351890/blog/4626607