分布式技术

传统的存储 ，一般是指用 商用硬盘构建稳固的存储系统，通常会用到RAID技术 ，这是一种被研究的很透彻的存储技术，有大量的相关软硬件，成本已降低到可接受的程度。 分布式存储 ，一般是指用大量廉价的磁盘，通过软件层实现一定的高级功能，如高数据持久性，不停机扩容，异地分布，多租户架构等，往往也可以通过中间件的形式做扩容。 简要介绍下这两种方式的异同。 RAID技术 RAID，通常是硬件实现，也可以软件实现，RAID存储的时候，会有大量的异或运算，软RAID会降蛮多机器性能，不推荐，而实现硬RAID所需的RAID卡，价格也不高，速度和本地硬盘一致。 总结优点： RAID卡比较便宜，成本低 技术成熟，实施方便 运维方便 本地传输，速度快，不存在小文件的问题 总结缺点： 扩展性差，RAID在系统看来，就是磁盘，并不是以接口提供，没法儿做很好的扩展，比如要坐文件杀毒功能，RAID几乎无法支持 扩容难，空间不够用了，必须停机扩容，而这对有7*24要求的单位，几乎是硬伤 对于分布式存储 优势在于： 扩展方便，可以通过软件层，添加需要的功能 容错性强，对于no-share架构的分布式系统，任何一个节点的crash都不会影响其它节点的工作 扩展方便，对于大部分分布式系统，都可以在线扩容 缺点在于： 速度比本地硬盘慢，特别是存储大量小文件的时候，速度巨慢 实施麻烦，需要专业的计算机工程师协助部署

Solr2004年诞生 ElasticSearch 2010年诞生 ES更新 ElasticSearch简介: 　　ElasticSearch是一个实时的分布式的搜索引擎和分析引擎.它可以帮助你用前所未有的速度去处理大规模数据. 　　它可以用于全文检索,结构化以及分析.当然你也可以将这三者进行组合. 　　ElasticSearch是一个建立在全文搜索引擎Apache Lucene基础上的搜索引擎,可以说Lucene是当今最先进,最高效的全共鞥开源搜索引擎框架. 　　但是Lucene只是一个框架,要充分利用它的功能,需要使用JAVA,并且在程序中集成Lucene.需要很多的学习了解,才能明白它是如何运行的,Lucene确实非常复杂. 　　ElasticSearch使用Lucene作为内部引擎,但是在使用它做全文检索时,只需要使用统一开发好的API即可,而不需要了解其背后复杂的Lucene的运行原理. 　　当然Elasticsearch并不仅仅是Lucene这么简单,它不但包括了全文搜索功能,还可以进行一下工作: 　　　　分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索. 　　　　实时分析的分布式搜索引擎. 　　　　可以拓展到上百台服务器上,处理PB级别的结构化和非结构化数据 这么多的功能都被继承到一台服务器上

一、课程介绍 在以前，我们做日志收集大多使用 Log4net，Nlog 等框架，在应用程序变得复杂并且集群的时候，可能传统的方式已经不是很好的适用了，因为收集各个日志并且分析他们将变得麻烦而且浪费时间。相信大家的项目中日志功能已经做为基础设施里必不可少的一部分了，日志记录不仅可以更好的记录用户行为，还可以记录系统运行日志，从而看到判断系统运行的健壮性。为了解决实时日志监控问题，ELK提供的一套的解决方案就应运而生了 ，作为NET技术的我们，开源的轻量级分布式ExceptionLess 日志框架或许成为了现在一种新选择！在早期分享课程中阿笨给大家带来的是《.NET开源分布式日志框架ExceptionLess实战演练》 但是之前的版本绑定在了Windows平台通过IIS运行，Exceptionless 5.0.0的发布解决了这一痛点，其最大的变化就是基于ASP.NET Core重写并支持跨平台，所以我们终于可以迁移到Linux上来运行了。 如果您对本次分享课程感兴趣的话，那么请跟着一起学习吧！ 1.1、本次分享课程适合人群如下 1）、有一定的.NET Core开发基础。 2）、学习和了解.Net Core跨平台开发技术。 3）、喜欢阿笨分享的干货课程童鞋们。 本课程不是零基础教学，大家务必根据自身的实际情况进行选择学习。如果您在学习过程中遇到任何的课程问题

这可能是把ZooKeeper概念讲的最清楚的一篇文章 相信大家对 ZooKeeper 应该不算陌生，但是你真的了解 ZooKeeper 是什么吗？如果别人/面试官让你讲讲 ZooKeeper 是什么，你能回答到哪个地步呢？ 作者：SnailClimb来源： 51CTO技术栈 |2018-09-12 09:34 收藏 分享 我本人曾经使用过 ZooKeeper 作为 Dubbo 的注册中心，另外在搭建 Solr 集群的时候，我使用到了 ZooKeeper 作为 Solr 集群的管理工具。 前几天，总结项目经验的时候，我突然问自己 ZooKeeper 到底是个什么东西？ 想了半天，脑海中只是简单的能浮现出几句话： Zookeeper 可以被用作注册中心。 Zookeeper 是 Hadoop 生态系统的一员。 构建 Zookeeper 集群的时候，使用的服务器最好是奇数台。 可见，我对于 Zookeeper 的理解仅仅是停留在了表面。所以，通过本文，希望带大家稍微详细的了解一下 ZooKeeper 。 如果没有学过 ZooKeeper，那么本文将会是你进入 ZooKeeper 大门的垫脚砖；如果你已经接触过 ZooKeeper ，那么本文将带你回顾一下 ZooKeeper 的一些基础概念。 最后，本文只涉及 ZooKeeper 的一些概念，并不涉及 ZooKeeper 的使用以及

注：文章转自https://www.runoob.com/w3cnote/github-tools.html 技术站点 Hacker News：非常棒的针对编程的链接聚合网站 Programming reddit：同上 MSDN：微软相关的官方技术集中地，主要是文档类 infoq：企业级应用，关注软件开发领域 OSChina：开源技术社区，开源方面做的不错哦 cnblogs，51cto，csdn：常见的技术社区，各有专长 stackoverflow：IT技术问答网站 GitHub：全球最大的源代码管理平台，很多知名开源项目都在上面，如Linux内核， OpenStack等免费的it电子书： http://it-ebooks.info/ DevStore:开发者服务商店 不错的书籍 人件 人月神话 代码大全2 计算机程序设计艺术 程序员的自我修养 程序员修炼之道 高效能程序员的修炼（成为一名杰出的程序员其实跟写代码没有太大关系） 深入理解计算机系统 软件随想录 算法导论（麻省理工学院出版社） 离线数学及其应用 设计模式 编程之美 黑客与画家 编程珠玑 C++ Prime Effective C++ TCP/IP详解 Unix 编程艺术 《精神分析引论》弗洛伊德 搞定：无压力工作的艺术 平台工具（都是开源的好东东哦） Redmine/Trac：项目管理平台 Jenkins/Jira

引言 在跟同行交流的时候，常常有人这样问：中台不就是微服务吗？都是以服务化的方式对外提供能力，老瓶装新酒嘛，炒作概念而已。 这种说法实际上混淆了中台与微服务的定义，要说清楚这个问题，就要先了解，什么是中台？什么是微服务？中台和微服务之间有什么样的关系？ 01 中台是什么？ 1.1 中台的定义 来自阿里官方的定义，“ 企业中台就是，将企业的核心能力随着业务不断发展以数字化形式沉淀到平台，形成以服务为中心，由业务中台和数据中台构建起数据闭环运转的运营体系，供企业更高效的进行业务探索和创新，实现以数字化资产的形态构建企业核心差异化竞争力。 ” 阿里的中台大约有十几个共享业务单元，包括用户中心、商品中心、交易中心等。淘宝、天猫、聚划算等 25 个大型业务应用都是由中台的共享业务单元支持的，共享业务单元则由阿里云平台支持。 共享业务单元的划分原则其实不是可以简单掌握的，要综合考量设计、运营和工程因素，尽可能遵循“高内聚、低耦合”、“数据完整”、“业务可运营”和“渐进”的原则。 阿里在划分中台时非常重视其业务价值和基于业务的设计，而且有业务架构岗位，每个共享单元都有业务架构师。但总体来讲，其业务架构仍然是领域性的。 1.2 代表企业 企业中台最早是由阿里在2015年提出的，即逍遥子张勇倡导的“大中台，小前台”战略、“数据+业务双中台”等等。 随后BAT、TMD纷纷效仿，提出了各家的中台战略

在分布式集群系统的开发中，线程锁往往并不能支持全部场景的使用，必须引入新的技术方案分布式锁。 　　线程锁:大家都不陌生，主要用来给方法、代码块加锁。当某个方法或者代码块使用锁时，那么在同一时刻至多仅有有一个线程在执行该段代码。当有多个线程访问同一对象的加锁方法/代码块时，同一时间只有一个线程在执行，其余线程必须要等待当前线程执行完之后才能执行该代码段。但是，其余线程是可以访问该对象中的非加锁代码块的。 　　进程锁:也是为了控制同一操作系统中多个进程访问一个共享资源，只是因为程序的独立性，各个进程是无法控制其他进程对资源的访问的，但是可以使用本地系统的信号量控制（操作系统基本知识）。 　　分布式锁:当多个进程不在同一个系统之中时，使用分布式锁控制多个进程对资源的访问。 分布式锁到底是什么，怎么实现？ 　　intsmaze说简单点，实现分布式锁必须要依靠第三方存储介质来存储锁的元数据等信息。比如分布式集群要操作某一行数据时，这个数据的流水号是唯一的，那么我们就把这个流水号作为一把锁的id，当某进程要操作该数据时，先去第三方存储介质中看该锁id是否存在，如果不存在，则将该锁id写入，然后执对该数据的操作；当其他进程要访问这个数据时，会先到第三方存储介质中查看有没有这个数据的锁id,有的话就认为这行数据目前已经有其他进程在使用了，就会不断地轮询第三方存储介质看其他进程是否释放掉该锁

搜索引擎选择： Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介 * Elasticsearch是一个 实时 的 分布式 搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于 全文搜索 ， 结构化搜索 以及 分析 ，当然你也可以将这三者进行组合。 Elasticsearch是一个 建立在全文搜索引擎 Apache Lucene™ 基础上 的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene。需要很多的学习了解，才能明白它是如何运行的，Lucene确实非常复杂。 Elasticsearch使用Lucene作为内部引擎，但是在使用它做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。 当然Elasticsearch并不仅仅是Lucene这么简单，它不但包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 这么多的功能被集成到一台服务器上，你可以轻松地通过客户端或者任何你喜欢的程序语言与ES的RESTful API进行交流

架构设计 软件架构是指在一定的设计原则基础上，从不同角度对组成系统的各部分进行搭配和安排，形成系统的多个结构而组成架构，它包括该系统的各个组件，组件的外部可见属性及组件之间的相互关系。组件的外部可见属性是指其他组件对该组件所做的假设。 一、架构设计过程 业界软件架构设计的方法论很多，各有各自的应用场景和特点，下文结合ADMEMS（Architecture Design Method has been Extended to Method System）架构设计方法论说明软件架构的过程： 预架构阶段 目标：全面理解需求；需求结构化，摒弃“需求列表”，建立二维需求观（ADMEMS矩阵）。 方法：使用ADMEMS矩阵方法，捋清需求间关系和发现衍生需求。 具体步骤： 1、与人：与项目经理、需求分析师等内部需求人员了解需求；与客户了解需求（不建议架构师做需求分析师角色）。 2、与物：了解《需求规格说明书》等需求文档。" 3、对需求有什么问题，反馈给售前或销售，可能会参与拜访客户或电话会议。 4、销售或售前有时会要求提供一个大致的工作量，以便他们初步评估项目可行性。 概念架构 目标：高层组件及其关系 方法： 1、初步设计，基于关键功能，借助鲁棒图进行以发现职责为目的的初步设计（不是必须）。 2、高层分割，将复杂系统切分为多个二级系统或多个子系统。 3、考虑非功能需求，采用ADMEMS推荐的目标

一、http_load 程序非常小，解压后也不到100K http_load以并行复用的方式运行，用以测试web服务器的吞吐量与负载。 但是它不同于大多数压力测试工具，它可以以一个单一的进程运行，一般不会把客户机搞死。 还可以测试HTTPS类的网站请求。 下载地址：http_load-12mar2006.tar.gz 安装很简单 #tar zxvf http_load-12mar2006.tar.gz #cd http_load-12mar2006 #make && make install 基本用法： http_load -p 并发访问进程数 -s 访问时间 需要访问的URL文件 参数其实可以自由组合，参数之间的选择并没有什么限制。 比如你写成http_load -parallel 5 -seconds 300 urllist.txt也是可以的。 我们把参数给大家简单说明一下。 -parallel 简写-p ：含义是并发的用户进程数。 -fetches 简写-f ：含义是总计的访问次数 -rate 简写-p ：含义是每秒的访问频率 -seconds 简写-s ：含义是总计的访问时间 准备URL文件：urllist.txt，文件格式是每行一个URL，URL最好超过50－100个测试效果比较好。 文件格式如下： 1、http://www.qixing318.com/ 2、http:/