Apache Flink

在这个金灿灿的收获季节，经过 Apache DolphinScheduler PPMC 们的推荐和投票，Apache DolphinScheduler 收获了 5 位新Committer 。他们是：nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。 对于成为 Committer ，小伙伴们说道： 朱凯 ： 非常荣幸能够成为DolphinSchedule 的 Committer。这既是一份喜悦，也是一份责任。我将以终为始，继续打怪升级，助力 DS 早日毕业。 温合民 ： 很荣幸成为DS Committer团队的一员。通过技术调研了解到DS，最终选型决定引入DS，高效的社区支持使项目最终顺利落地。DS是我参与开源的第一个项目，深受益于开源，同时也想为开源做一些力所能及的贡献，希望未来能更多的为DS添砖加瓦，愿DS顺利毕业。 社区介绍： Apache DolphinScheduler 是一个非常多样化的社区，至今贡献者已近100名， 他们分别来自 30 多家不同的公司。 微信群用户3000人。 Apache DolphinScheduler 部分用户案例(排名不分先后) 已经有300多家企业和科研机构在使用DolphinScheduler，来处理各类调度和定时任务，另有 近500家 公司开通了海豚调度的试用： Apache

怎么去体现技术方案设计的深度是大家普遍关心的一个问题，这个问题不是个例问题，因此本文主要分享下作者个人的一些观点和看法。 文章主要分为三个部分： 第一部分主要分析为什么技术方案没有体现出深度，找到问题后就好解决，并提出技术方案的广度和深度特征。 第二部分是技术方案设计的方法论，主要包括了本质论、矛盾论、系统论、演进论四个方法论，构成一个闭环反馈链路。 第三部分是通过具体的案例，反复运用第二部分的方法论阐述在实例的案例中如何去应用，加深对方法论的理解。 技术方案体现广度和深度 1. 方案设计常见的反馈 我们都希望自己设计的技术方案能够让人眼前一亮、叹为观止、拍案叫绝……，然而在实际情况下，却并不是这样的，我们经常听到如下的说法： 场景简单：业务场景很简单，怎么也设计不出花儿来。 复杂度低：业务复杂度低，很难讲得出挑战来。 亮点少：运用的技术亮点少，基本上都是现有的中间件或框架来完成。 设计普通：方案缺乏新颖，业内也是这么做的，没有体现出自己的设计能力。 …… 的确，上面反而是经常遇到的场景，那么需要思考下背后的问题和原因，为什么会有这样的感受，如果这个事情交给另外一个人去做，为什么他能设计出更好的方法，而当时你却没有想到呢？ 2. 原因探究 个人觉得这个问题最为核心的一点是 就事论事 ，因为只是看到这个事，需要完成某个具体的功能点，而没有跳去这个事情的表象，去思考到底要什么

简介： 怎么去体现技术方案设计的深度是大家普遍关心的一个问题，这个问题不是个例问题，因此本文主要分享下作者个人的一些观点和看法。 文章主要分为三个部分： 第一部分主要分析为什么技术方案没有体现出深度，找到问题后就好解决，并提出技术方案的广度和深度特征。 第二部分是技术方案设计的方法论，主要包括了本质论、矛盾论、系统论、演进论四个方法论，构成一个闭环反馈链路。 第三部分是通过具体的案例，反复运用第二部分的方法论阐述在实例的案例中如何去应用，加深对方法论的理解。 技术方案体现广度和深度 1. 方案设计常见的反馈 我们都希望自己设计的技术方案能够让人眼前一亮、叹为观止、拍案叫绝……，然而在实际情况下，却并不是这样的，我们经常听到如下的说法： 场景简单：业务场景很简单，怎么也设计不出花儿来。 复杂度低：业务复杂度低，很难讲得出挑战来。 亮点少：运用的技术亮点少，基本上都是现有的中间件或框架来完成。 设计普通：方案缺乏新颖，业内也是这么做的，没有体现出自己的设计能力。 …… 的确，上面反而是经常遇到的场景，那么需要思考下背后的问题和原因，为什么会有这样的感受，如果这个事情交给另外一个人去做，为什么他能设计出更好的方法，而当时你却没有想到呢？ 2. 原因探究 个人觉得这个问题最为核心的一点是 就事论事 ，因为只是看到这个事，需要完成某个具体的功能点，而没有跳去这个事情的表象，去思考到底要什么

简介： 滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。 一、 背景 在本次升级之前，我们使用的主要版本为 Flink-1.4.2，并且在社区版本上进行了一些增强，提供了 StreamSQL 和低阶 API 两种服务形式。现有集群规模达到了 1500 台物理机，运行任务数超过 12000 ，日均处理数据 3 万亿条左右。 不过随着社区的发展，尤其是 Blink 合入 master 后有很多功能和架构上的升级，我们希望能通过版本升级提供更好的流计算服务。今年 2 月份，里程碑版本 Flink-1.10 发布，我们开始在新版上上进行开发工作，踏上了充满挑战的升级之路。 二、 Flink-1.10 新特性 作为 Flink 社区至今为止的最大的一次版本升级，加入的新特性解决了之前遇到很多的痛点。 1. 原生 DDL 语法与 Catalog 支持 Flink SQL 原生支持了 DDL 语法，比如 CREATE TABLE/CREATE FUNCTION，可以使用 SQL 进行元数据的注册，而不需要使用代码的方式。 也提供了 Catalog 的支持，默认使用 InMemoryCatalog 将信息临时保存在内存中，同时也提供了

本文将主要介绍 FlinkX 读取和写入 Clickhouse 的过程及相关参数，核心内容将围绕以下3个问题，公众号后台回复“X”即可下载插件。 FlinkX读写Clickhouse支持哪个版本？ ClickHouse读写Clickhouse有哪些参数？ ClickHouse读写Clickhouse参数都有哪些说明？ ClickHouse 读取 一、插件名称 名称：clickhousereader 二、支持的数据源版本 ClickHouse 19.x及以上 三、参数说明 「jdbcUrl」 描述：针对关系型数据库的jdbc连接字符串 jdbcUrl参考文档：clickhouse-jdbc官方文档 必选：是 默认值：无 「username」 描述：数据源的用户名 必选：是 默认值：无 「password」 描述：数据源指定用户名的密码 必选：是 默认值：无 「where」 描述：筛选条件，reader插件根据指定的column、table、where条件拼接SQL，并根据这个SQL进行数据抽取。在实际业务场景中，往往会选择当天的数据进行同步，可以将where条件指定为gmt_create > time。 注意：不可以将where条件指定为limit 10，limit不是SQL的合法where子句。 必选：否 默认值：无 「splitPk」 描述

导语： 由中国信息通信研究院、中国通信标准化协会联合主办的“2020可信云大会”于昨天圆满结束，会上发布了2020年可信云上半年最新评估结果。其中腾讯云中间件—— 分布式消息队列 TDMQ 凭借其优秀的技术能力，获得了 可信云最高级认证证书 。 01 TDMQ喜获可信云最高级认证证书 在刚刚过去的“2020可信云大会”在线上大会上，腾讯云中间件——分布式消息队列TDMQ喜获可信云 最高级认证证书 ！代码编号：No.MQ-0003 TDMQ刚刚出道，便获得了可信云软件认证的最高级证书，这是对产品服务能力和腾讯云中间件技术能力的最佳认可。 02 创新定义，开启消息队列新时代 TDMQ基于开源Pulsar 存储计算分离 架构，完美支持 按量使用无限扩展 ， 专为云而生的消息队列 ，并 兼容主流消息队列产品。 03 超强服务能力 1. 高一致性 采用raft算法 。 同步刷盘 。 多副本 。 2. 高性能低延迟 高效支持 亿级消息生产和消费 。 单集群 QPS 超过10万 。 时耗方面有保护机制来保证低延迟，帮助您轻松满足业务性能需求 。 3. 百万级 To pic 计算与存储架构的分离 设计，可以轻松 支持百万级消息主题 。 多租户，完善的自助运维管理工具 。 4. 丰富的消息类型 提供丰富的消息类型，涵盖普通消息、顺序消息（全局顺序 / 分区顺序）、分布式事务消息、定时消息等。 5.

Flink 序列化机制 <!--more--> https://t.zsxq.com/JaQfeMf 博客 1、 Flink 从0到1学习 —— Apache Flink 介绍 2、 Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、 Flink 从0到1学习 —— Flink 配置文件详解 4、 Flink 从0到1学习 —— Data Source 介绍 5、 Flink 从0到1学习 —— 如何自定义 Data Source ？ 6、 Flink 从0到1学习 —— Data Sink 介绍 7、 Flink 从0到1学习 —— 如何自定义 Data Sink ？ 8、 Flink 从0到1学习 —— Flink Data transformation(转换) 9、 Flink 从0到1学习 —— 介绍 Flink 中的 Stream Windows 10、 Flink 从0到1学习 —— Flink 中的几种 Time 详解 11、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 ElasticSearch 12、 Flink 从0到1学习 —— Flink 项目如何运行？ 13、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Kafka 14、 Flink

Flink Checkpoint 机制 <!--more--> https://t.zsxq.com/ynQNbeM 博客 1、 Flink 从0到1学习 —— Apache Flink 介绍 2、 Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、 Flink 从0到1学习 —— Flink 配置文件详解 4、 Flink 从0到1学习 —— Data Source 介绍 5、 Flink 从0到1学习 —— 如何自定义 Data Source ？ 6、 Flink 从0到1学习 —— Data Sink 介绍 7、 Flink 从0到1学习 —— 如何自定义 Data Sink ？ 8、 Flink 从0到1学习 —— Flink Data transformation(转换) 9、 Flink 从0到1学习 —— 介绍 Flink 中的 Stream Windows 10、 Flink 从0到1学习 —— Flink 中的几种 Time 详解 11、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 ElasticSearch 12、 Flink 从0到1学习 —— Flink 项目如何运行？ 13、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Kafka 14、

简介： 本文由美团研究员、实时计算负责人鞠大升分享，主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式 OLAP 应用；5、未来规划。 一、数仓增量生产 1.美团数仓架构 先介绍一下美团数仓的架构以及增量生产。如下图所示，这是美团数仓的简单架构，我把它叫做三横四纵。所谓三横，第一是贯穿全链路的元数据以及血缘，贯穿数据集成、数据处理、数据消费、以及数据应用的全过程链路。另外一块贯穿全链路的是数据安全，包括受限域的认证系统、权限系统、整体的审计系统。根据数据的流向，我们把数据处理的过程分为数据集成、数据处理、数据消费、以及数据应用这 4 个阶段。 在数据集成阶段，我们对于公司内部的，比如说用户行为数据、日志数据、DB 数据、还有文件数据，都有相应的集成的系统把数据统一到我们的数据处理的存储中，比如说 Kafka 中。 在数据处理阶段，分为流式处理链路、批处理链路以及基于这套链路的数仓工作平台（万象平台）。生产出来的数据，经过 Datalink 导入到消费的存储中，最终通过应用以不同的形式呈现出来。 我们目前在 Flink 上面应用比较广泛的地方，包括从 Kafka 把数据导到 Hive，包括实时的处理，数据导出的过程。今天的分享就集中在这些方面。 2.美团 Flink 应用概况 美团的 Flink 目前大概有

01 PDF下载 识别 下方二 维码 ，回复“ 峰会 ”，即可获得下载地址。感觉干货多，记得 设为 星标 哦 本文分享自微信公众号 - 小晨说数据（flink-spark）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4658124/blog/4829779