分布式

博客阅读整理一

邮差的信 提交于 2019-11-27 07:08:08
(部分文章是系列文章,可在原文博客查找) Java ClassLoader, JavaAgent, Aspectj Weaving一站式扫盲帖 :主要总结了ClassLoader、java代理、反射相关的知识点 jdbc实现篇-源码 :介绍了jdbc的源码实现,讲的比较清晰, Java线程池架构原理和源码解析 :讲的很好,有几个地方不看解释的确很难理解,此外这个是系列文章,都很不错。 Java集合框架综述 :系列文章,很有条理,这类文章百看不厌(主要记不住....) 数据库 海量数据存储基础 :讲的都是大路货,但是比较全面 MySQL索引背后的数据结构及算法原理 :好文,面试前多看几遍mysql就够装了 分布式/高并发 亿级Web系统搭建 :单机到分布式集群:介绍了从前端到后端各层的负载均衡策略,比较全面 构建亿级前端读服务 :这类文章不知道是不是跪着看才行,内容不多,但有干货 如何用消息系统避免分布式事务 :分布式中的老问题,讲的简单明了 两阶段提交协议与paxos投票算法 :上文两段式没看懂,就又找了篇看看 图解分布式一致性协议Paxos :我要是说上文的paxos没看懂,会不会显得智商有点低..... 两阶段提交协议 :反正智商都低了,就再补充一片更易懂的啊 The Log :我所读过的最好的一篇分布式技术文章,这不是我说的,标题后边自带的,但当我看完,我觉得他说的没错

跟我学习dubbo-Dubbo监控中心的介绍与简易监控中心的安装(7)

て烟熏妆下的殇ゞ 提交于 2019-11-27 05:34:02
Dubbo 监控中心的介绍与简易监控中心的安装 监控中心服务接口调用统计报表的显示配置 1、 Dubbo 服务提供者和服务消费者中的 spring 配置文件中增加以下配置: 添加完以上配置后,重新构建部署 Dubbo 服务和服务消费者应用 2、 Dubbo 简易监控中心的配置解释(不需要修改,使用默认配置) 操作系统用户为 jeesmlsz,系统用户目录为 /home/jeesml dubbo-monitor 的安装目录为: /home/jeesml/dubbo-monitor dubbo-monitor 的配置文件为: /home/jeesml/dubbo-monitor/conf/dubbo.properties dubbo-monitor 的配置文件内容如下: dubbo.container=log4j,spring,registry,jetty dubbo.application.name=simple-monitor dubbo.application.owner= dubbo.registry.address=zookeeper://xxx.xxx.xxx.xxx:2181 dubbo.protocol.port=7070 dubbo.jetty.port=8090 dubbo.jetty.directory=${user.home}/monitor dubbo

#研发解决方案#分布式并行计算调度和管理系统Summoner

。_饼干妹妹 提交于 2019-11-26 14:57:46
郑昀 创建于2015/11/10 最后更新于2015/11/12 关键词:佣金计算、定时任务、数据抽取、数据清洗、数据计算、Java、Redis、MySQL、Zookeeper、azkaban2、oozie、mesos Summoner 是国玺部门推出的基于 MySQL+Redis+Zookeeper 的分布式并行计算调度和管理系统,李红红主设。 0x00,为什么要做“数据”并行计算调度? 大家都可能做过 基于 MySQL 数据库的,大规模的、有步骤的、步骤与步骤之间有依赖关系的数据计算 。你可能定义了一堆彼此依赖的定时任务,也可能写成一个大进程跑。 举一个实际场景吧,在我们 O2O 业务体系下,我要做人员规模三四千人、有多条业务线、组织结构为大区-区域-城市-销售组的销售团队的昨日佣金和当月佣金,这里的挑战是: 涉及到商户、门店、交易、折扣、核销物料等等,数据量很大,至少每天都要算一次,要算得快, 激励政策和佣金计算公式随着竞争态势变化,一般一两个月变一次, 数据抽取尽可能少影响正常业务, 计算逻辑调整后要能快速部署和运行。 那么,以前可能会定义一些定时任务,每天凌晨从各个业务数据库(毕竟全都拆库分表了)里抽取: 人员组织架构 大区、区域和城市的对照关系 合同以及合同拥有者 商户和门店 门店下的收单交易 佣金计算公式、规则以及各种权重因子 …… 既有全量数据,也有增量数据