memcached

Redis 6.0 多线程重磅发布！！！ Redis 6.0在5.2号这个美好的日子里悄无声息的发布了，这次发布在IT圈犹如一颗惊雷一般，因为这是redis最大的一次改版，首次加入了多线程。 作者Antirez在RC1版本发布时在他的博客写下： the most “enterprise” Redis version to date // 最”企业级”的 the largest release of Redis ever as far as I can tell // 最大的 the one where the biggest amount of people participated // 参与人数最多的 这次改变，性能有个飞速的提升~ 先po出新版和旧版性能图 从上面可以看到 GET/SET 命令在 4 线程 IO 时性能相比单线程是几乎是翻倍了。另外，这些数据只是为了简单验证多线程 IO 是否真正带来性能优化，并没有针对严谨的延时控制和不同并发的场景进行压测。数据仅供验证参考而不能作为线上指标，且只是目前的 unstble分支的性能，不排除后续发布的正式版本的性能会更好。 Redis 6.0 之前的版本真的是单线程吗？ Redis基于Reactor模式开发了网络事件处理器，这个处理器被称为文件事件处理器。它的组成结构为4部分：多个套接字、IO多路复用程序、文件事件分派器

点击上方蓝色“ 冰河技术 ”，关注并 选择“设为星标” 持之以恒，贵在坚持，每天进步一点点！ 作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。 自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。 为使更多童鞋受益，现给出开源框架地址： https://github.com/sunshinelyz/mykit-delay PS: 欢迎各位Star源码，也可以pr你牛逼哄哄的代码 。 写在前面 在当今互联网行业，尤其是现在分布式、微服务开发环境下，为了提高搜索效率，以及搜索的精准度，会大量使用Redis、Memcached等NoSQL数据库，也会使用大量的Solr、Elasticsearch等全文检索服务。那么，这个时候，就会有一个问题需要我们来思考和解决：那就是数据同步的问题！如何将实时变化的数据库中的数据同步到Redis/Memcached或者Solr/Elasticsearch中呢？ 互联网背景下的数据同步需求 在当今互联网行业，尤其是现在分布式、微服务开发环境下，为了提高搜索效率，以及搜索的精准度，会大量使用Redis、Memcached等NoSQL数据库，也会使用大量的Solr、Elasticsearch等全文检索服务。那么，这个时候，就会有一个问题需要我们来思考和解决

Elasticsearch定义 elastic(弹性、灵活）+search（搜索） Elasticsearch 是一个支持分布式、高扩展、高实时的高效搜索与数据分析引擎。 支持分布式实时文件存储。 支持将字段值都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 Elasticsearch 的实现原理主要分为以下几个步骤 用户将数据提交到Elasticsearch 数据库中。 es通过分词控制器去将对应的语句分词。（这里如需更高级的策略优化，后期可以替换分词器）。 将其权重和分词结果一并存入数据库。 当用户搜索数据时候，根据权重将结果排名，打分（相关度）。 将返回结果呈现给用户。 有关概念 cluster：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。 shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。 replicas：代表索引副本

对于现有的成本优化的 问题，最常见的“解决方案”是调整大小，计划和购买预留实例以实现可预测的工作负载。 这三个“解决方案”可能是大多数AWS用户熟悉的AWS成本优化最佳实践，但不一定是“最佳”实践。有时，他们无法节省声称的成本的一小部分，而许多其他通常被忽视的AWS成本优化最佳实践可以节省更多。 10种AWS成本优化最佳实践 1.调整EC2实例的大小 正如我们已经提到的调整大小，调度和保留实例一样，让我们从这三个AWS成本优化最佳实践开始。调整大小的目的是使实例大小与其工作负载相匹配。不幸的是，由于实例的容量每增加一倍，容量就不能那样工作。 因此，只有在某些实例的峰值利用率不超过〜45％的情况下，调整大小才是值得的最佳实践。仍然值得分析利用率指标，以寻找机会将工作负载转移到更适合其需求的不同系列（“通用”之外）。 解决方案： 在某些实例的峰值利用率（最好是结合CPU和内存一起）不超过〜45％的情况下，调整大小才是值得的最佳实践 2.安排开/关时间 值得安排非生产实例（例如用于开发和测试的实例）的开/关时间，因为如果您应用“按时”计划（从上午8.00到8.00），您将节省运行这些实例的65％的时间下午星期一到星期五。但是，可以节省更多的钱，尤其是如果开发团队以不规则的方式或不规则的时间工作。 您可以通过分析利用率指标来确定更经常使用的实例，从而应用更为激进的调度

今天分享的BAT面试完整内容主要包含： 面试前的心态准备(3点建议) 技术硬实力包含的范围(50题目) 个人简历突出和优化(3点优化步骤) 个人软实力的提升(6点提升维度) BAT面试经验总结(1点总结) 1. 面试前的心态准备 心态可以影响你面试的准备，笔试的状态，实力的发挥,可以影响一个面试过程的方方面面。心态崩了，就只剩运气了，offer估计也就走远了。 那怎么调整自己的心态呢？ 首先是要正视自己的能力，不轻视，不高估。 不高估就是要清楚自己的能力范围，不是说期望过高不好，但过高的期望会让你的心理变得脆弱，稍有不顺心态就有崩掉的趋势。因为面试毕竟有太大的偶然性，就算你达到了一定的水平，相应水平的岗位也不是百发百中的，更不要说身边有那么多大神和收割机，天天拿offer拒offer，对心理都是不小的冲击。 不要总给自己消极的暗示，心态差了积极调整。 大多数的人，总暗示自己说什么时间不多了，怎么每天过这么快效率怎么这么低。到笔试了，跟自己说这个算法太难了，肯定做不出来；临到面试了，跟自己说千万别问我linux内核，别问我分布式，问我肯定完；面试过之后，没有结果，就天天想肯定又挂了，唉我怎么这么菜。 如果这一系列的表现形成习惯，那心态这个系数最多0.5，能发挥出来的东西也都打了一半的折扣。凡事都不要太悲观，一个offer没拿到

Redis NoSql入门和概述 入门概述 互联网时代背景下大机遇，为什么用nosql 1.单机MySQL的美好年代 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付,在那个时候，更多的都是静态网页，动态交互类型的网站不多 上述架构下，我们来看看数据存储的瓶颈是什么？ 数据量的总大小 一个机器放不下时 数据的索引（B+ Tree）一个机器的内存放不下时 访问量(读写混合)一个实例不能承受 2.Memcached(缓存)＋MySQL＋垂直拆分 后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就自然的成为一个非常时尚的技术产品 Memcached作为一个独立的分布式的缓存服务器，为多个web服务器提供了一个共享的高性能缓存服务，在Memcached服务器上，又发展了根据hash算法来进行多台Memcached缓存服务的扩展，然后又出现了一致性hash来解决增加或减少缓存服务器导致重新hash带来的大量缓存失效的弊端 3

Windows性能计数器应用（PART1） Windows性能计数器应用（PART2） Windows性能计数器应用（PART3） Windows性能计数器应用（PART4） { // PerformanceCounter(CategoryName,CounterName,InstanceName) performanceNetCounterCategory = newPerformanceCounterCategory("Network Interface"); interfaces = performanceNetCounterCategory.GetInstanceNames(); int length = interfaces.Length; if (length > 0) { trafficSentCounters = newPerformanceCounter[length]; trafficReceivedCounters = newPerformanceCounter[length]; } for (int i = 0; i < length; i++) { //初始化PerformanceCounter类的新的只读实例。 //第一个参数：“ categoryName”-与该性能计数器关联的性能计数器类别（性能对象）的名称。 //第二个参数：“

Windows性能计数器应用（PART1） Windows性能计数器应用（PART2） Windows性能计数器应用（PART3） SysField.XML文件指定在日志文件中存储PerformanceCounter（）值所需的所有参数以及性能计数器的采样时间。 ：应用程序存储日志文件的文件夹。 ：日志文件的文件名。 ：指定一个布尔值 ：单个日志文件存储的最大记录数 PerformanceCounter（）的采样间隔 为了每天生成一个日志文件，我们需要将MaxNumberRecordsInLogFile设置为等于： MaxNumberRecordsInLogFile =（一天中的第二个）/ PollingSysParamsInterval 即 如果我们每1秒采样一次（PollingSysParamsInterval = 1），则MaxNumberRecordsInLogFile = 86400secondi /（1秒）= 86400 使用存储在app.config中的参数可以定义我们要包含在采样中的性能参数以及性能计数器的结构（顺序）。 app.config的完整结构报告如下： <？xml version =“ 1.0”？> <Start> <ADD key=“ NodeName”value=“ false” /> <ADD key=“ CPUProcessorTime”value

前言 在我们给 Web 站点使用负载均衡之后，必须面临的一个重要问题就是 Session 的处理办法，无论是 PHP 、 Python 、 Ruby 还是 Java ，只要使用服务器保存 Session ，在做负载均衡时都需要考虑 Session 的问题。 分享目录： 问题在哪里？如何处理？ 会话保持（案例：Nginx、Haproxy） 会话复制（案例：Tomcat） 会话共享（案例：Memcached、Redis） 问题在哪里？ 从用户端来解释，就是当一个用户第一次访问被负载均衡代理到后端服务器 A 并登录后，服务器 A 上保留了用户的登录信息；当用户再次发送请求时，根据负载均衡策略可能被代理到后端不同的服务器，例如服务器 B ，由于这台服务器 B 没有用户的登录信息，所以导致用户需要重新登录。这对用户来说是不可忍受的。所以，在实施负载均衡的时候，我们必须考虑 Session 的问题。 在负载均衡中，针对 Session 的处理，我们一般有以下几种方法： Session 保持 Session 复制 Session 共享 会话保持 Session 保持（会话保持）是我们见到最多的名词之一，通过会话保持，负载均衡进行请求分发的时候保证每个客户端固定的访问到后端的同一台应用服务器。会话保持方案在所有的负载均衡都有对应的实现。而且这是在负载均衡这一层就可以解决 Session 问题。

0、 介绍 本篇文章是在我看完《从零开始学架构》之后，以架构演变为主线，梳理了一下演变过程中出现的问题以及解决方案，文章中引用了这本书的一些内容和图片 分布式和集群的概念经常被搞混，现在一句话让你明白两者的区别。 分布式 ：一个业务拆分成多个子业务，部署在不同的服务器上 集群 ：同一个业务，部署在多个服务器上 例如：电商系统可以拆分成商品，订单，用户等子系统。这就是分布式，而为了应对并发，同时部署好几个用户系统，这就是集群 1、 单应用架构 2、 应用服务器和数据服务器分离 单机负载越来越来，所以要将应用服务器和数据库服务器分离 3、 应用服务器做集群 每个系统的处理能力是有限的，为了提高并发访问量，需要对应用服务器做集群 这时会涉及到两个问题： 负载均衡 session共享 负载均衡就是将请求均衡地分配到多个系统上，常见的技术有如下几种 DNS DNS是最简单也是最常见的负载均衡方式，一般用来实现地理级别的均衡。例如，北方的用户访问北京的机房，南方的用户访问广州的机房。一般不会使用DNS来做机器级别的负载均衡，因为太耗费IP资源了。例如，百度搜索可能要10000台以上的机器，不可能将这么多机器全部配置公网IP，然后用DNS来做负载均衡。 Nginx&LVS&F5 DNS是用于实现地理级别的负载均衡，而Nginx&LVS&F5用于同一地点内机器级别的负载均衡