Wormhole

《ODF走进名企之滴滴站:开源数据库最新发展技术之涓滴成河》邀您一起参加~~~

六眼飞鱼酱① 提交于 2021-02-16 13:10:31
滴滴作为一家科技驱动的创新企业,致力于回馈开发者社区、打造开源生态,建立企业创新品牌和技术领导力。目前,滴滴在开源项目上做了很多方面的探索和实践,积极参与业界的开源项目,不断对外输出内部的优秀项目。 《ODF走进名企之滴滴站:开源数据库最新发展技术之涓滴成河》邀您一起参加~~~ 滴滴开源的愿景 拥抱开放 - 通过主动开源,加速开放创新,构建开放生态圈。 创造价值 - 促进各领域的合作和技术发展,构建更多可扩展的产品。 合作共赢 - 共享技术,合作开发,将更好的技术带给世界,共同促进数字世界、智能世界的加速发展。 活动时间 2018年8月4日(周六) 14:00 - 18:00 活动地点 尚东数字山谷B区2号楼4层英菲尼迪会议室 日程安排 Time Table 13:30-13:55 活动签到 13:55-14:00 嘉宾致辞&主办方致辞 14:00-14:45 齐楠 《Redis多机房支持》 14:45-15:30 杜修文 《 MySQL InnoDB Cluster详解》 15:30-16:15 赵平 《流式处理实践之路》 16:15-16:30 茶歇 16:30-17:15 冯若航 《PostGIS在探探中的应用》 17:15-18:00 张冬洪 《Pedis 5.0 新特性解读 》 嘉宾议程 齐楠 | 滴滴基础架构部门高级专家工程师 现任滴滴基础架构部,负责队列,接入层

数据中台的“自动化数据治理”时代已来

不羁的心 提交于 2020-12-06 19:46:11
中台,我理解是能力的下沉,数据处理能力下沉为加工平台,数据处理结果下沉为数据资产。那么数据治理能否下沉?可以下沉出什么东西? ——宜信数据中台负责人 卢山巍 本文来源:宜信数据中台负责人卢山巍在亿欧产业互联网频道“数字中台创新”沙龙的分享实录 原文首发:亿欧 亿欧产业互联网频道10月24日在上海InnoSpace落地“数字中台创新”沙龙,活动汇聚了良品铺子电商技术中心总监罗轶群、爱驰汽车科技信息总监杭瑜峰、宜信数据中台负责人卢山巍、ThoughtWorks首席咨询师及极客时间《说透中台》专栏作者王健、亿欧华东负责人缪国成、亿欧产业互联网频道副主编黄志磊、亿欧产业互联网频道作者龚晨霞参与分享,就数字中台话题展开深度讨论。 宜信是一家成立于2006年从事普惠金融和财富管理业务的金融科技企业,2018年基于四大开源平台和中间件等技术,开始研发数据中台,并在宜信内部推广使用。目前,宜信的中台部门一共分为两大板块:数据中台和AI中台。 以下是卢山巍演讲观点梳理: 1、宜信数据中台指导思维:统一建设、敏捷开发 2、从开源到中台,关键词是自助化 3、数据治理,更依赖人治还是自治? 以下是演讲速记实录,经亿欧产业互联网频道整理,供行业人士参考。 大家下午好,我叫卢山巍,来自宜信。刚才听罗总高屋建瓴地介绍了中台的概念和应用,受益匪浅。我的分享会不太一样:第一,我有一个限定词是“数据”

宜信数据中台全揭秘(一)数据中台整体介绍|分享实录

旧城冷巷雨未停 提交于 2020-08-20 07:31:29
内容来源:宜信技术学院第11期技术沙龙|宜信数据中台全揭秘(一)数据中台整体介绍 主讲人:宜信数据中台解决方案架构师 裴国强 PPT下载:链接: https://pan.baidu.com/s/1eSkSdUo6FmYFmcE4xg0vjw 密码: 99uh 一、数据中台定位 1.1 ADX整体简介-中台定位 首先对中台的服务范围说明: 企业级:针对是整个企业的所有业务部门,横向贯穿整个业务线的数据,纵向贯穿整个数据生命周期,从最开始的数据采集(DB,日志,消息,文件),入湖,标准化,开发(批量作业,流式作业)维度表,最后到数据服务和数据应用。 复用:复用的范围包括,能力的复用,逻辑的复用,数据资产的复用,算法的复用。 能力:对平台能力进行抽象,对于不同平台的对能力的抽象,业务平台(流程控制,管理,审批,权限「等级,继承」,调度),数据平台(批量,流式,UDF,UDAF,数据质量,血缘分析,数据地图,调度,数据资产管理,权限,数据服务)。 分横向和纵向两个方面: 横向划分 大数据基础集群:更贴近硬件的平台,负责提供稳定及高可用的计算运行环境,及安全的数据存储环境 HDFS-数据湖的基础存储,存放表每天的快照,和增量数据。 KUDU-最新快照,用于即席查询,数据服务,流式数据快照。 ClickHouse-Clickhouse做DW和DM层的存储。 数据中台 :对数据能力的抽象

开发者的以太坊进阶指南 | Jeth 以太坊系列线下活动第四期(北京)

血红的双手。 提交于 2020-03-02 12:41:46
** 介绍** Jeth 以太坊系列线下活动: 《开发者的以太坊进阶指南》北京站 来了! Jeth 是由掘金技术社区主办,以太坊社区基金会、以太坊爱好者与 ConsenSys 协办,围绕以太坊技术开发主题的系列线下活动。每期 Jeth 会邀请以太坊开发领域的优秀技术团队和工程师在线下分享技术干货。旨在先让参与者对区块链技术有全面、准确的理解,然后进一步学习以太坊基本原理,以及如何构建智能合约和 DApp;同时也为开发者提供线下技术交流互动机会,帮助开发者成长。 门票免费 第四期的 Jeth 北京站线下分享我们邀请到 ArcBlock 资深前端工程师 王仕军 担任此次活动的出品人和讲师 Wormhole 核心开发者 韩元超 区块链技术布道者 杨镇 第一电商公链 CyberMiles 首席科学家兼联合创始人 Michael Yuan 博士 担任讲师,帮助有编程经验的开发者能够快速上手以太坊开发。 ** 日程** 时间:2018/11/10 13:30 - 17:30 地点:P2联合创业办公社 • 中关村e世界 ** 本期嘉宾** Michael Yuan 博士 - 第一电商公链CyberMiles首席科学家兼联合创始人 Michael Yuan本科就读南京大学天体物理专业,拥有德州大学奥斯汀分校的天体物理学博士学位。他著有5本软件开发书籍,分别由 Prentice Hall

揭秘宜信财富年度账单的技术实现

为君一笑 提交于 2020-01-07 00:15:36
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 一、背景 年底很多移动产品都会推出自己的年度账单,每年都会引起大众媒体的关注。今年有幸参与了宜信财富APP年度账单的开发,本文将带大家探索宜信财富年度账单背后的技术架构和研发逻辑,希望可以给大家带来一些思路上的启发。 二、前端整体架构和执行流程 宜信财富年度账单前端架构所采用的技术栈包括: 前端页面是用H5制作; 数据加载进度百分比,技术用到swiper插件和一些CSS3动效; 海报生成用到了canvas图片合成,把海报背景和二维码合二为一。 为了完成MGM的追踪,在二维码中嵌入M1信息。 三、数据来源和数据处理 本次年度账单涉及客户维度、销售维度、客户标签等数据,其中客户维度包括活动参与、文章、视频浏览等数据。这部分数据的整合来源于数据中台的主题数据。以下是数据中台的架构图: ODS:数据来源层,存放从业务系统抽取过来的数据,业务系统中的原始数据经过抽取、洗净、传输装入本层。这层数据接近原始数据,却不等同原始数据,数据装入的时候进行了去重、去噪、表命名、字段命名等一系列规范操作。 DW:数据仓库层,该层是数据仓库的主体,将ODS层的数据按照主题建立数据模型,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,是一个包含所有主题的通用的集合。 DM:数据集市层

宜信卢山巍:数据中台的“自动化数据治理”时代已来

狂风中的少年 提交于 2019-12-04 20:33:55
中台,我理解是能力的下沉,数据处理能力下沉为加工平台,数据处理结果下沉为数据资产。那么数据治理能否下沉?可以下沉出什么东西? ——宜信数据中台负责人 卢山巍 本文来源:宜信数据中台负责人卢山巍在亿欧产业互联网频道“数字中台创新”沙龙的分享实录 原文首发:亿欧 亿欧产业互联网频道10月24日在上海InnoSpace落地“数字中台创新”沙龙,活动汇聚了良品铺子电商技术中心总监罗轶群、爱驰汽车科技信息总监杭瑜峰、宜信数据中台负责人卢山巍、ThoughtWorks首席咨询师及极客时间《说透中台》专栏作者王健、亿欧华东负责人缪国成、亿欧产业互联网频道副主编黄志磊、亿欧产业互联网频道作者龚晨霞参与分享,就数字中台话题展开深度讨论。 宜信是一家成立于2006年从事普惠金融和财富管理业务的金融科技企业,2018年基于四大开源平台和中间件等技术,开始研发数据中台,并在宜信内部推广使用。目前,宜信的中台部门一共分为两大板块:数据中台和AI中台。 以下是卢山巍演讲观点梳理: 1、宜信数据中台指导思维:统一建设、敏捷开发 2、从开源到中台,关键词是自助化 3、数据治理,更依赖人治还是自治? 以下是演讲速记实录,经亿欧产业互联网频道整理,供行业人士参考。 大家下午好,我叫卢山巍,来自宜信。刚才听罗总高屋建瓴地介绍了中台的概念和应用,受益匪浅。我的分享会不太一样:第一,我有一个限定词是“数据”

数据中台:宜信敏捷数据中台建设实践

浪子不回头ぞ 提交于 2019-11-26 15:57:47
【宜信技术沙龙】是由宜信技术学院主办的系列技术分享活动,活动包括线上和线下两种形式,每期技术沙龙都将邀请宜信及其他互联网公司的技术专家分享来自一线的实践经验,分享内容覆盖金融科技及软件研发等主要技术领域,旨在为金融科技行业提供可落地实践的解决方案,为金融科技从业者带来思路想法上的启发。 【技术沙龙002期】数据中台:宜信敏捷数据中台建设实践|宜信技术沙龙 将于5月23日晚8点线上直播,点击报名 一、导语 2019年,“中台”成为软件研发行业的发展趋势,宜信技术团队从2018年便开始便在CTO向江旭的领导下布局中台战略,目前AI中台、敏捷数据中台等已经在宜信的各条业务线中得以应用,提升了宜信的技术服务效率。 5月23日晚8点,宜信技术学院邀请宜信数据中台团队负责人卢山巍直播分享宜信敏捷数据中台的实践过程 ,内容包括宜信敏捷数据中台的定位和价值、数据中台的架构设计、数据中台在宜信业务应用中的典型场景3个方面。 大数据作为驱动业务发展的核心动力,在各种业务场景中都起到了重要作用,而数据中台能够提高数据服务能力、节约数据服务资源。本期宜信技术沙龙以数据中台为主题,希望通过分享宜信的技术实践经验,为软件研发行业对数据中台的应用落地带来参考和启示。 直播时间:5月23日20:00-21:00 二、分享话题及嘉宾介绍 【分享话题】宜信敏捷数据中台建设实践 【话题介绍