memcached

3 月，跳不动了？>>> 传统MySQL+ Memcached架构遇到的问题 　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。 　　2.Memcached与MySQL数据库数据一致性问题。 　　3.Memcached数据命中率低或down机，大量访问直接穿透到DB，MySQL无法支撑。 　　4.跨机房cache同步问题。 　　众多NoSQL百花齐放，如何选择 　 　最近几年，业界不断涌现出很多各种各样的NoSQL产品，那么如何才能正确地使用好这些产品，最大化地发挥其长处，是我们需要深入研究和思考的问题，实 际归根结底最重要的是了解这些产品的定位，并且了解到每款产品的tradeoffs，在实际应用中做到扬长避短，总体上这些NoSQL主要用于解决以下几 种问题 　　1.少量数据存储，高速读写访问。此类产品通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。 　　2.海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。 　　3

3 月，跳不动了？>>> Redis不仅支持简单的key-value数据类型，同时还提供string、list、set、zset、hash等数据结构的存储；而Memcached仅仅支持简单的key-value数据类型。 Redis支持数据的持久化，可以将内存中的数据保存到磁盘中，重启的时候再次加载使用；而Memcached将数据全部存于内存中。 Redis支持数据备份，即master-slave模式的数据备份。 Redis比Memcached的（读写）速度要快很多。 Redis使用的是单线程IO复用模型；而Memcached使用的是多线程非阻塞IO复用模型。 来源： oschina 链接： https://my.oschina.net/u/4480939/blog/3211753

memcached高可用群集搭建 我们需要三台服务器： 主服务器 192.168.247.206 从服务器 192.168.247.160 客户端 192.168.247.161 主服务器 配置memcached主缓存节点和从缓存节点 [root@lamp ~]# hostnamectl set-hostname master [root@lamp ~]# su [root@master ~]# [root@master ~]# mkdir /abc mkdir: cannot create directory ‘/abc’: File exists [root@master ~]# mount.cifs //192.168.254.10/linuxs /abc Password for root@//192.168.254.10/linuxs: [root@master ~]# cd /abc [root@master abc]# tar zxvf libevent-2.1.8-stable.tar.gz -C /opt [root@master abc]# tar zxvf memcached-1.5.6.tar.gz -C /opt [root@master abc]# mkdir /opt/magent [root@master abc]# tar zxvf magent

1、全页面静态化缓存 也就是将页面全部生成html静态页面，用户访问时直接访问的静态页面，而不会去走php服务器解析的流程。此种方式，在CMS系统中比较常见，比如dedecms； 一种比较常用的实现方式是用输出缓存： Ob_start()******要运行的代码*******$content = Ob_get_contents();****将缓存内容写入html文件*****Ob_end_clean(); 2、页面部分缓存 该种方式，是将一个页面中不经常变的部分进行静态缓存，而经常变化的块不缓存，最后组装在一起显示；可以使用类似于ob_get_contents的方式实现，也可以利用类似ESI之类的页面片段缓存策略，使其用来做动态页面中相对静态的片段部分的缓存(ESI技术，请baidu，此处不详讲)。 该种方式可以用于如商城中的商品页； 3、数据缓存 顾名思义，就是缓存数据的一种方式；比如，商城中的某个商品信息，当用商品id去请求时，就会得出包括店铺信息、商品信息等数据，此时就可以将这些数据缓存到一个php文件中，文件名包含商品id来建一个唯一标示；下一次有人想查看这个商品时，首先就直接调这个文件里面的信息，而不用再去数据库查询；其实缓存文件中缓存的就是一个php数组之类； Ecmall商城系统里面就用了这种方式； 4、查询缓存 其实这跟数据缓存是一个思路，就是根据查询语句来缓存

3 月，跳不动了？>>> 官方定义: Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言 编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库 ，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。 详细说明: redis是一个key-value 存储系统 。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list( 链表 )、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些 数据类型 都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。 Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了 memcached 这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用

Django缓存机制 一、什么是缓存 动态网站中，用户请求都要去服务器的数据库中增删改查，会消耗很大的资源，因此，使用缓存在减轻服务器的压力。 缓存是将一些常用的数据保存内存或者memcache中，在一定的时间内有人来访问这些数据时，则不再去执行数据库及渲染等操作，而是直接从内存或memcache的缓存中去取得数据，然后返回给用户。 二、Django的6中缓存方式及配置（只需要改配置文件） 1、开发调试缓存(此模式为开发调试使用，实际上不执行任何操作) settings.py文件中配置 CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.dummy.DummyCache', # 缓存后台使用的引擎 'TIMEOUT': 300, # 缓存超时时间（默认300秒，None表示永不过期，0表示立即过期） 'OPTIONS':{ 'MAX_ENTRIES': 300, # 最大缓存记录的数量（默认300） 'CULL_FREQUENCY': 3, # 缓存到达最大个数之后，剔除缓存个数的比例，即：1/CULL_FREQUENCY（默认3） }, } } 2、内存缓存(将缓存内容保存至内存区域中) settings.py文件中配置 CACHES = { 'default': { 'BACKEND': 'django

memcached高缓存搭建 搭建服务端和客户端，让服务端去链接客户端 web客户端：192.168.247.161 服务端：192.168.247.160 [root@localhost ~]# hostnamectl set-hostname client [root@localhost ~]# su [root@client ~]# [root@nginx ~]# hostnamectl set-hostname server [root@nginx ~]# su [root@server ~]# 搭建服务端 部署libevent 事件通知库 [root@server ~]# mkdir /abc mkdir: cannot create directory ‘/abc’: File exists [root@server ~]# mount.cifs //192.168.254.10/linuxs /abc Password for root@//192.168.254.10/linuxs: [root@server ~]# cd /abc [root@server abc]# tar zxvf libevent-2.1.8-stable.tar.gz -C /opt [root@server abc]# tar zxvf memcached-1.5.6.tar.gz -C

Magent 是一款开源的 Memcached 代理服务器软件，使用它可以搭建高可用性的集群应用的 Memcached 服务 ，备份 Memcached 数据，尽管 Memcached 服务挂掉，前端也能获取到数据，客户端先连到 Magent 代理服务器 ，然后Magent 代理服务器 在可以连接多台 Memcached 服务器，然后可以进行数据的保存和备份数据。这样数据就不会丢失，保存了数据完整性。 安装Magent 1）下载安装 cd /usr/local mkdir magent wget http://memagent.googlecode.com/files/magent-0.6.tar.gz tar -zxvf magent-0.6.tar.gz /sbin/ldconfig sed -i "s#LIBS = -levent#LIBS = -levent -lm#g" Makefile 在ketama.h或magent.c开头添加 #ifndef SSIZE_MAX #define SSIZE_MAX 32767 #endif make 复制 make 生成的/usr/local/下名为magent的文件到/usr/bin/ cp magent /usr/bin/magent 检查是否安装成功： ./magent -h 代理Memcache magent -u root

文章是根据 memcached-session-manager官方配置方法wiki页面 翻译整理， 关于memcached-session-manager的介绍， 具体参见官网： http://code.google.com/p/memcached-session-manager/ ，也可以参考： http://gong1208.iteye.com/blog/1596120 Introduction 如果为了简单使用，你只需要安装一个tomcat（6或者7）和memcached，在生产环境中可能会有多台tomcat服务器以及多台可用的memcached节点，并安装在不同的机器上，我们可以使用黏性session（sticky sessions）或者非黏性session（non-sticky sessions），memcached-session-manager (msm) 对这两种操作模式都支持。 下面给出一个黏性session模式的设置示例，此实例中安装了2个tomcat以及2个memcached。 Tomcat-1(t1)的首要选择是把session存储在memcached-2 (m2)上（m2是t1的一个普通节点），而m2是运行在另外的一台机器上。只有当m2不可用（宕机或无法访问）时，t1才会把session存储到memcached-1（m1，m1是t1的故障转移节点）上

3 月，跳不动了？>>> 阿里云ECS云服务器如何选择？可以根据应用场景来选择云服务器规格及配置，新手站长网分享业务场景选择ECS云服务器实例对照表： 根据应用场景选择ECS云服务器实例 阿里云ECS云服务器有多种实例规格，不同ECS实例规格适用于不同的应用场景，例如：GPU云服务器适用于AI深度学习或图形可视化等业务场景，新手站长网分享业务场景和ECS实例规格对照表： ECS实例规格族 实例规格 业务场景 通用计算型 通用型g6/通用型g5/通用网络增强型sn2ne 中小型数据库/数据处理任务/企业后台应用 通用计算型 计算型c6/计算型c5/计算网络增强型sn1ne 高性能网站前端节点/Web服务器，批量计算/分布式分析，对战类游戏/高性能科学，工程类应用/平台广告，视频编解码 通用计算型 内存型r6/内存型r5/内存增强型re4/内存网络增强型se1ne/内存型se1 高性能数据库/数据挖掘和分析/Redis、Memcached等缓存/内存型数据库 通用计算型 高主频hfc6/高主频hfc5/高主频hfg5/高主频c4 高性能科学计算/高性能前端节点 通用计算型 本地SSD型i2/本地SSD型i2g/本地SSD型i1 关系型数据库/NoSQL数据库/数据仓库/内存型数据库/Hadoop/Spark集群（实时） 通用计算型 大数据型d2s/大数据型d1ne/大数据型d1