大数据

最近，我的朋友整理了各大互联网公司的架构演进相关介绍，让我们一起看一看各大互联网公司在成长过程中遇到过哪些问题，又是如何解决问题的。希望对你有帮助！ 建议收藏保存，也欢迎点赞转发哦！ 支付宝和蚂蚁花呗的技术架构及实践 支付宝的高可用与容灾架构演进 余额宝技术架构及演进 淘宝数据魔方技术架构解析 淘宝技术发展历程和架构经验分享 淘宝架构演进背后——零售业务中台架构设计探讨及实践 阿里游戏高可用架构设计实践 阿里B2B技术架构演进详解 阿里如何实现秒级百万TPS？搜索离线大数据平台架构解读 首次公开！菜鸟弹性调度系统的架构设计 秒杀系统架构分析与实战 王者荣耀游戏服务器架构演进(完整版) 京东峰值系统设计 京东咚咚架构演进 京东B2B业务架构演变 京东虚拟业务多维订单系统架构设计 京东商品单品页统一服务系统架构未公开的细节 数据蜂巢架构演进之路 京东到家库存系统架构设计 一张图看完京东基础架构演进之路 大促系统全流量压测及稳定性保证——京东交易架构分享 京东618实践：一元抢宝系统的数据库架构优化 京东上千页面搭建基石——CMS前后端分离演进史 京东物流系统架构演进中的最佳实践 京东话费充值系统架构演进实践 京东到家订单中心Elasticsearch 演进历程 新浪微博平台架构 微博深度学习平台架构和实践 新浪微博用户兴趣建模系统架构 新浪微博推荐系统架构的演进

新一代大数据工作流调度 - Apache DolphinScheduler(incubator) 今天发布了 1.3.5 官方 Docker 镜像。 在社区伙伴 chengshiwen 的努力下, 1.3.5 版本的 Docker 镜像大约只有 1.3.4 版本的 1/2 , 现在只有大约 220M 啦，奥利给！ 下面就带大家来 快速使用 DolphinScheduler 官方推荐以 docker-compose 的方式启动，这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料，请自行安装即可。 1、下载源码 zip 包 - 请下载最新版本的源码包并进行解压 # 创建源码存放目录 mkdir -p /opt/soft/dolphinscheduler; cd /opt/soft/dolphinscheduler; # 下载源码包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.5/apache-dolphinscheduler-incubating-1.3.5-src.zip # 解压缩 tar -zxvf apache-dolphinscheduler-incubating-1.3.5-src.zip mv

《万亿级数据库MongoDB集群性能数十倍提升优化实践》核心17问详细解答 说明： 为了更好的理解背景，请提前阅读oschina分享的 《万亿级数据库MongoDB集群性能数十倍提升及机房多活容灾实践》 一文。 本文是2020年深圳Qcon全球软件开发大会 《专题：现代数据架构》 专场 、 dbaplus专场：万亿级数据库MongoDB集群性能优化实践 、mongodb2020年终盛会 分享 后，获得一致好评。本文收集了会后众多mongodb用户提的比较频繁的17个问题，并对每个问题进行了详细解答，一并整理到本文中。 分享内容回顾如下： MongoDB在OPPO互联网推广经验分享-如何把一个淘汰边缘的数据库逐步变为公司主流数据库 谈谈当前国内对MongoDB误解（丢数据、不安全、难维护）？ MongoDB跨机房多活方案-实现成本、性能、一致性"三丰收" MongoDB线程模型瓶颈及其优化方法 并行迁移：MongoDB内核扩容迁移速率数倍/数十倍提升优化实践 百万级高并发读写/千亿级数据量MongoDB集群性能数倍提升优化实践 万亿级数据量MongoDB集群性能数十倍提升优化实践 磁盘80%节省-记某服务接口千亿级数据迁移MongoDB，近百台SSD服务器节省原理 关于作者 前滴滴出行技术专家，现任OPPO文档数据库mongodb负责人

数字经济时代，银行如何进行数字化转型？业务模式转型与科技转型如何协同并进？ 2019年1月4日，在上海蚂蚁金服ATEC城市峰会上，浙江稠州商业银行（以下简称“稠州银行”）副行长兼首席信息官程杰分享了稠州银行的数字化建设实践之旅。我们可以看到，一家立足小微金融服务的银行机构，如何构筑全新的数字化基因，以科技创新快速进入数字化时代。 对于未来金融科技、数字银行的发展，程杰认为，银行数字化转型的关键是盘活数据资产打造核心能力，践行数据驱动的应用场景建设，广泛运用金融科技手段，提供极致体验的智能化金融服务。 稠州银行，有着CBA那样追求更快、更高、更强的精神。据了解，稠州银行成立30年来，一直致力于做小微企业和市场商户的商贸金融伙伴。从扎根全球最大的小商品集散中心义乌，到全面进入长三角经济圈核心区域，稠州银行始终紧随市场经济的步伐，关注小微客户的金融服务需求。 自2006年起，稠州银行实施“走出去”战略，全面布局长三角。截至目前，稠州银行的体量规模达到资产规模2000亿元，分行14家，范围覆盖9个省。 到了新型数字化时代，稠州银行开启了零售业务转型与数字化科技转型的创新战略，来保证银行高效、高质量的金融服务。程杰指出，普惠金融服务需要不断突破边界，包括数据的边界、服务半径的边界，以数字化的方式降低边缘成本，突破商业模式、个性化服务的瓶颈和制约。程杰表示，在新型互联网时代

时间如流水，2017年11月11日又快到了，意味着一年一度的阿里双11购物狂欢又要来了，而2016的双11仿佛如昨。 每年双11技术保障工作的顺利完成，是阿里技术积累和创新能力的集中展现。2016双11业务狂欢的背后，更是体现了阿里这两年来在人工智能、VR、云计算和大数据技术方面丰富的技术实践与突破。 1、《不一样的技术创新》 为了揭开双11背后的技术，阿里出品了《不一样的技术创新》一书，本书全面阐述阿里双11背后的技术实践与创新，包含基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术及安全等技术领域。 这27篇共计10万余字凝聚了阿里工程师的智慧和创造力的的技术干货。 本书目录 第一章 基础设施 1.1 万亿交易量级下的秒级监控 1.2 双11背后基础设施软硬结合实践创新 1.3 阿里视频云ApsaraVideo是怎样让4000万人同时狂欢的 第二章 存储 2.1永不停止的脚步——数据库优化之路 2.2 AliCloudDB--双11商家后台数据库的基石 第三章 中间件 3.1 万亿级数据洪峰下的分布式消息引擎 第四章 电商云化 4.1 17.5W秒级交易峰值下的混合云弹性架构之路 4.2 集团AliDocker化双11总结 第五章 业务架构 5.1 内容+：打造不一样的双11 5.2 双11交易核心链路的故事 5.3 千亿访问量下的开放平台技术揭秘

大数据技术与架构 点击右侧关注，大数据开发领域最强公众号！ 暴走大数据 点击右侧关注，暴走大数据！ 之前 《MySQL Binlog同步HDFS的方案》 介绍性的文章简单介绍了实时同步mysql到hdfs的几种方案，本篇主要记录下利用canal同步mysql到hdfs的具体方案。 本文来自：http://bigdatadecode.club/MysqlToHDFSWithCanal.html canal server 部署 在canal中一个mysql实例对应一个配置文件，配置文件放在conf目录下的一个文件夹中，该文件夹的名字就代表了mysql实例。结构如下 -rwxr-xr-x 1 dc user 2645 Jul 18 14:25 canal.properties -rwxr-xr-x 1 dc user 2521 Jul 17 18:31 canal.properties.bak -rwxr-xr-x 1 dc user 3045 Jul 17 18:31 logback.xml drwxr-xr-x 2 dc user 4096 Jul 17 18:38 spring drwxr-xr-x 2 dc user 4096 Jul 19 11:55 trans1 trans1代表一个mysql实例，该文件夹中有个instance.properties文件

Oracle与Sql server的区别 来源 https://www.cnblogs.com/fengxiaojiu/archive/2017/11/16/7844994.html 一直搞不明白Oracle数据库和sql server的区别，今天我特意查资料把他们的区别整理出来 Oracle数据库：Oracle Database，又名Oracle RDBMS，或简称Oracle。是 甲骨文公司 的一款 关系数据库管理系统 。 它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的 适应高吞吐量的数据库解决方案。 sql server数据库：美国Microsoft公司推出的一种关系型数据库系统。SQL Server是一个可扩展的、高性能的、为分布式客户机/服务器计算所设计的 数据库管理系统 ，实现了与WindowsNT的有机结合，提供了基于 事务 的企业级信息管理系统方案 两者的区别： （1）操作的平台不同 Oracle可在所有主流平台上运行，Oracle数据库采用开放的策略目标，它使得客户可以选择一种最适合他们特定需要的解决方案。客户可以利用很多种第三方应用程序、工具。而SQL Server却只能在Windows上运行了。 　　但SQL

9月15日， 2015“云+未来”腾讯云技术领袖峰会 在深圳召开。腾讯高级执行副总裁汤道生在会上表示，未来5年将保持每年投入20亿，共计超过100亿元的水平，推进腾讯云的基础设施建设和运营。 当前，以云计算、大数据为代表的互联网技术已渗透到各行各业，成为产业变革的推动力。云服务降低了连接一切的门槛，为用户与社会创造更大的价值。未来，许多的行业创新与竞争都将会是数据驱动，因此，选择合适的云服务合作伙伴，才能走在竞争对手的前面。 DNSPOD云主机是腾讯云为DNSPOD用户打造的专属云主机，我们为您提供直观可视化的管理页面，操作简单，方便快捷。提供资源隔离、数据安全、密码安全、安全加固等多达20种安全防护手段，保证您的数据安全是我们时刻的使命。 中秋，国庆，双节将至，为了感谢广大用户对DNSPOD一直以来的支持与信任，9月24日至10月9日，DNSPOD云主机首台5折，全场8折，优惠，为你而来！ 莫愁前路无知己， 云主机抢购5折起！ 趁优惠，改变就现在。 是时候 拥有你的第一台云主机了！ 1、个人版云主机， 1 核 1 GB 1 M带宽，原价71元/月，现只要 36 元/月。 2、 企业版云主机， 4 核 8 GB 5 M带宽，原价605元/月，现只要 303 元/月。 点击下方 “ 阅读原文 ” 查看 云主机 活动详情 ↓↓↓ 本文分享自微信公众号 - DNSPod（dnspod）。

我之前也写过关于培训的文章，其实对于培训，我的看法是在慢慢改变的，现在的我一直觉得，培训真的是一条路，但是有一点，培训出身，有的时候真的会被有色眼镜看待，推荐一篇相关的文章给大家！ 文末赠书！ 作者丨褚杏娟 培训机构出身程序员和科班程序员之间，有鄙视链吗？ 1“谁都看不上培训机构的” “我是培训 + 外包出来的，确实有被甲方嫌弃过。”2016 年从电子信息专业毕业的小右说起这个话题有些落寞。 公务员考试失利的小右在大四上学期开始找工作，但因为学习成绩一般，工作找得并不顺利。这个情况持续一段时间后，小右决定去参加某培训机构的 Java 培训。“电子信息专业虽说属于计算机范畴，但其实和编程还不一样的，我也是没办法。”小右很无奈。 培训机构的课程对有一定 C、C++ 基础的小右来说还算比较轻松。他所在的那家培训机构的上课内容就是老师带着做做项目，教的代码在后面工作中可以复用。几个月后小右从培训机构毕业，第一份工作是北京当地蛮著名的一个外包机构，薪资 5K。 与同批毕业找到不错工作的同学们比，小右还是感到些许心酸。“上课的学费，我是走的贷款。和培训机构签过协议，毕业就可以找到工作。找不到，损失由培训机构承担；找得到，机构每个月要从我的薪资里面抽一部分还学费。“北京的生活成本本来就高，加上机构的抽成，对于刚毕业的小右来说，无疑压力很大。 在这家外包公司呆了一年后，小右跳槽了—

为了让大家对Greenplum的内核有更深入的了解，让大家在开发或者是使用Greenplum过程中更加得心应手，2020年，Greenplum中文社区开展了《深入浅出Greenplum内核》系列直播公开课，邀请Greenplum原厂内核讲师，从开发人员视角，理论配合实例，深入浅出地详尽剖析Greenplum主要核心模块，讲解Greenplum模块背后的设计思路和工作原理，让你对Greenplum达到更深层的理解。 错过直播的也不用担心，这篇合集带你回顾所有精华内容！文字配合视频，满足你学习的全部需求。 相应PPT可前往Greenplum中文网站（cn.greenplum.org）的下载页面获取 第一课 深入解读开源大数据分析平台Greenplum架构 讲师：杨瑜 Greenplum原厂研发总监 Greenplum被Gartner2019认为是全球十大经典和实时数据分析产品中唯一开源数据库。第一课将逐次梳理Greenplum的四大基本内容：基本概念，数据组织，架构设计和核心模块，理论结合实践，深入浅出的带领大家进入Greenplum的世界。 内容纲要 1、Greenplum 概念及数据的组织 2、Greenplum 体系架构 3、Greenplum 进程模型 4、Greenplum 各大模块 相关阅读： Greenplum架构最详解读（内含视频） 第二课