分布式架构

架构 环境 主机名 IP db1 192.168.31.205 db2 192.168.31.206 前期准备 开启防火墙，安装配置 mysql （db1,db2） firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.31.0/24" accept" firewall-cmd --reload mkdir /software # 把软件 mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz 上传到 /software cd /usr/local/ tar zxf /software/mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz mv mysql-5.7.20-linux-glibc2.12-x86_64 mysql # 初始化数据 mkdir /data/33{07..10}/data -p mysqld --initialize-insecure --user=mysql --datadir=/data/3307/data --basedir=/usr/local/mysql mysqld --initialize-insecure --user=mysql --datadir=/data

2019年中国迈入新数据时代元年，IDC最新发布的《2025年中国将拥有全球最大的数据圈》显示，中国各类型数据呈几何级数增长，预计在2025年中国数据圈将增至48.6ZB。数据带来前所未有的商业红利的同时也带来了前所未有的风险。数据泄露水平指数显示，2018年每天有超过2500万条数据遭到入侵或泄露，涵盖医疗、信用卡、财务数据、个人身份信息等。 　　存储介质作为如此庞大数据量的承载者，在这样的背景下，安全显得尤为重要。当下，我国正在全力推进党政信息化建设，《“十三五”国家信息化规划》提出：到2020年，“数字中国”建设取得显著成效，具有国际竞争力、安全可控的信息产业生态体系基本建立。 　　 　　杉岩数据在数据存储技术发展的道路上始终心怀担当，坚持走国产化技术路线，专注在分布式存储领域深耕，历时多年研发出全国产化分布式统一存储平台USP。 　　 Sandstone USP作为一款国产分布式存储软件产品，技术架构上采用业内领先的全分布式高可用设计，全平台无单点故障，并且可以提供文件存储、块存储和对象存储三种不同类型的存储模块，这些存储模块可以灵活的组合搭配，提供快速简便的访问方式，满足新一代应用的敏捷开发需求，能够根据应用的发展进行灵活的弹性扩展。提供了全语义、跨协议数据访问，帮助企业打通数据孤岛、实现传统应用间的数据共享，一体化极简架构与分钟级扩容、秒级数据检索，加速企业上云转型

2011年底，我加入大众点评网，出于很偶然的机会，决定开发CAT，为各个业务线打造分布式实时监控系统，CAT的核心概念源自eBay闭源系统CAL----eBay的几大法宝之一。 在当今互联网时代，业务需求旺盛，开发团队往往采用scrum等敏捷开发流程，加班加点快速迭代以满足业务需求，是常态。采用分布式系统设计和服务化，由多台机器协作来共同完成用户请求，是典型的解决方案。网站故障频发，内部关系错综复杂，故障定位缓慢，甚至找不到问题根源，也是常有的事。虽然已经有很多日志监控工具，或许单个工具功能还不错，但整体服务化水平参差不齐，工具间不能互通互联；另一方面，由于日志数据量大，且分散，使得查找问题根源基本靠人品。 这些也是我们要开发CAT的初衷。 CAT简介 CAT（Central Application Tracking），是基于纯Java开发的分布式实时监控系统。开源代码托管在GitHub（搜索CAT即可），作者是吴其敏（qmwu2000）和尤勇（youyong205）。 产品相关分享在网上可以找到： 看大众点评如何通过实时监控系统CAT打造7*24服务-尤勇@QCon高可用架构群 2015 分布式监控系统的设计与实现-尤勇@QCon上海2015 大众点评网监控系统架构剖析-尤勇@2013第二届华东架构师大会 大众点评网监控平台剖析-吴其敏@QCon杭州2012 CAT现状

转： http://baike.baidu.com/link?url=HwhPVuqqWelWIr0TeSBGPZ5SjoaYb5_Givp9-rJN-PYbSTMlwpECSKvjzLBzUE7hn9VvmhDoKb5NNCPw1pCsTa Hadoop 是一个由Apache基金会所开发的 分布式系统 基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个 分布式文件系统 （Hadoop Distributed File System），简称HDFS。HDFS有高 容错性 的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问 应用程序 的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 [2] 中文名 海杜普 外文名 Hadoop 类 别 电脑程序 全 称 Hadoop Distributed File System 目录 1 起源 ▪ 项目起源 ▪

一 、Hadoop 简介： 1. 大数据略知一二： 1）大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，需要在合理的时间内达到提取、管理、处理、并且整理成为帮助企业运营决策更积极目的的信息； 2）在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理； 3）大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 图解大数据： http://www.ruanyifeng.com/blog/2017/07/iaas-paas-saas.html 3. 项目起源： Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS)

废话不说直接来一张图如下： 从JVM的角度看Map和Reduce Map阶段包括： 第一读数据：从HDFS读取数据 1、问题:读取数据产生多少个Mapper？？ Mapper数据过大的话，会产生大量的小文件，由于Mapper是基于虚拟机的，过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源； Mapper数太小，并发度过小，Job执行时间过长，无法充分利用分布式硬件资源； 2 、 Mapper 数量由什么决定？？ （ 1 ） 输入文件数目 （ 2 ） 输入文件的大小 （ 3 ） 配置参数 这三个因素决定的。 涉及参数： mapreduce.input.fileinputformat.split.minsize //启动map最小的split size大小，默认0 mapreduce.input.fileinputformat.split.maxsize //启动map最大的split size大小，默认256M dfs.block.size//block块大小，默认64M 计算公式：splitSize = Math.max(minSize, Math.min(maxSize, blockSize)); 例如 默认情况下：例如一个文件800M，Block大小是128M，那么Mapper数目就是7个。6个Mapper处理的数据是128M，1个Mapper处理的数据是32M

　本文只是一个概念，具体配置太多，这里不做细节描述。 　　1、分布式应用的概念和优势 　　分布式数据库是指利用高速网络将物理上分散的多个数据 存储 单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。近年来，随着数据量的增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式存储，从集中式计算走向分布式计算。 　　分布式数据库系统的主要目的是容灾、异地数据备份，并且通过就近访问原则，用户可以就近访问数据库节点，这样就实现了异地的负载均衡。同时，通过数据库之间的数据传输同步，可以分布式保持数据的一致性，这个过程完成了数据备份，异地存储数据在单点故障的时候不影响服务的访问，只需要将访问流量切换异地镜像就行。 　　分布式数据库应用的优势如下： 　　(1)适合分布式数据管理，能够有效提高系统性能。 　　(2)系统经济性和灵活性好。 　　(3)系统的可靠性和可用性强。 　　2、mysql分布式应用的主要技术 　　(1)mysql数据切割 　　数据切割(sharding)是指通过某种特定的条件，将存放在同一数据库中的数据分散存放到多个数据库(主机)上面，以达到分散单台设备负载的效果。数据切分还可以提高系统的总体可用性，因为单台crash之后

目录 一、首先介绍3.0与4.0之前的差异 1.、地址： 2、4.0添加升级如下功能： 二、LCN4.0原理 1、架构介绍 2、核心步骤（LCN核心的三步骤） 3、事务协调机制 对于代理连接池的优化 4、补偿机制 为什么需要事务补偿？ 补偿机制的触发条件？ 补偿事务机制？ LCN是怎么去实现事务补偿呢？ 5、插件机制 拟场景演示模 一、首先介绍3.0与4.0之前的差异 1.、地址： 2、4.0添加升级如下功能： （1）3.0虽然有事务补偿机制，但4.0在此基础上不仅添加事务补偿机制的策性，还添加了管理的后台可以看到补偿的数据；同时也添加了一个回调地址，可以在补偿之前可以最先知道这次补偿的数据，也可以为我们的框架使用者提供一个决策权。 （2）同4.0时添加的插件扩展机制，也就是说他更加开放了，他可以可以容纳更多的rpc框架，也可以更多的支持db框架，比如mongodb、redis，还有将来一些框架，如ES等等。 二、LCN4.0原理 1、架构介绍 有图可得，lcn是通过nginx作为负载均衡的转发，也就是作为Txmanager的负载均衡的一个转发服务器；然后再是我们的TxManager,也就是事务管理器，然后事务管理器依赖两个服务，一个是redis服务，一个是Eureka服务集群；Eureka集群是用于我们TxManager之间的相互服务发现

Hyperledger Fabric 学习一：简介 https://www.jianshu.com/p/f971858b70f3?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 1、Hyperledger简介 Hyperledger：超级账本，是首个面向企业应用场景的分布式账本平台，包括了：IBM、Intel、Cisco、DAH、摩根大通、R3等在内的众多科技和金融巨头的贡献参与，在银行、供应链等领域得到了广泛的关注和发展，目前已经拥有超过200家企业成员。 Hyperledger项目： 2015年12月，由开源世界的旗舰组织Linux基金会牵头，30家初始企业成员共同宣布Hyperledger联合项目成立。 成立之初，IBM贡献了4万多行已有的OpenBlockchain代码，Digital Asset则贡献了企业和开发者相关资源，R3贡献了新的金融交易架构，Inter也贡献了分布式账本相关的代码。 作为一个联合项目，旗下由面向不同的场景的子项目构成：包括Fabric、Sawtooth、Iroha、BlockChain Explorer、Cello、indy、Composer、Burrow等8大顶级项目。 Fabric：是一个带有准入机制的企业级联盟链项目

摘要 为了更好的解决分布式环境下多台服务实例的配置统一管理问题，本文提出了一套完整的分布式配置管理解决方案（简称为disconf[4]，下同）。首先，实现了同构系统的配置发布统一化，提供了配置服务server，该服务可以对配置进行持久化管理并对外提供restful接口，在此基础上，基于zookeeper实现对配置更改的实时推送，并且，提供了稳定有效的容灾方案，以及用户体验良好的编程模型和WEB用户管理界面。其次，实现了异构系统的配置包管理，提出基于zookeeper的全局分布式一致性锁来实现主备统一部署、系统异常时的主备自主切换。通过在百度内部以及外部等多个产品线的实践结果表明，本解决方案是有效且稳定的。 技术背景 在一个分布式环境中，同类型的服务往往会部署很多实例。这些实例使用了一些配置，为了更好地维护这些配置就产生了配置管理服务。通过这个服务可以轻松地管理成千上百个服务实例的配置问题。 王阿晶提出了基于zooKeeper的配置信息存储方案的设计与实现[1], 它将所有配置存储在zookeeper上，这会导致配置的管理不那么方便，而且他们没有相关的源码实现。淘宝的diamond[2]是淘宝内部使用的一个管理持久配置的系统，它具有完整的开源源码实现，它的特点是简单、可靠、易用，淘宝内部绝大多数系统的配置都采用diamond来进行统一管理。他将所有配置文件里的配置打散化进行存储