缓存服务器 | 易学教程

海量数据和高并发解决方案

阅读更多关于海量数据和高并发解决方案

ps ：读书笔记海量数据解决方案缓存和页面静态化　　缓存就是把从数据库中的数据暂时存起来，下次使用时无需在查询数据库。缓存分为程序直接保存到内存和框架框架２种。程序缓存一般使用currentHashMap直接保存到内存。框架缓存的话有redis，memcache等。　　ps:空数据值问题。　　缓存创建的时候把没有数据的缓存用特定的符号来表示。因为这种模式下如果从缓存中获取不到数据，就会查询数据库，但是其本身就没有数据的话。那么每次都要查询一次数据库，不合理。　　页面静态化：是将程序生成的页面保存起来。这样下次调用直接就使用。连程序这一关也过了。更加快速。可以在程序中使用velocity等技术来生成静态页面，也可以通过上层缓存Nginx来生成。数据库优化　　１．表结构优化：设计合理的符合规范的表。　　２．sql优化：根据日志以及其他工具分析那条sql语句最耗时，在针对性的有的放矢的优化，要统筹好，不能只针对一条语句，优化时要考虑到表上的其他语句综合考虑。　　３．分区：一个表中数据量太大时，那么分区就可以使用了。分区是将数据按照一定规则把数据分到不同区来保存，这样子操作数据时，数据量更少。查询数据时只在一定区间进行。且这种操作时对程序透明的。程序无需修改。　　４．分表：分表就是把表横向切分为几个表。第一种方式就是为了减少数据，比如一张表里面某个字段是分类

构建高并发高可用的电商平台架构实践

阅读更多关于构建高并发高可用的电商平台架构实践

从各个角度总结了电商平台中的架构实践，由于时间仓促，定了个初稿，待补充完善，欢迎大家一起交流。转载请声明出处： http://blog.csdn.net/yangbutao/article/details/12242441 作者：杨步涛关注分布式架构、大数据、搜索、开源技术 QQ:306591368 技术Blog： http://blog.csdn.net/yangbutao 一、设计理念 1. 空间换时间 1) 多级缓存，静态化客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag）反向代理缓存应用端的缓存(memcache) 内存数据库 Buffer、cache机制（数据库，中间件等） 2) 索引哈希、B树、倒排、bitmap 哈希索引适合综合数组的寻址和链表的插入特性，可以实现数据的快速存取。 B树索引适合于查询为主导的场景，避免多次的IO，提高查询的效率。倒排索引实现单词到文档映射关系的最佳实现方式和最有效的索引结构，广泛用在搜索领域。 Bitmap是一种非常简洁快速的数据结构，他能同时使存储空间和速度最优化（而不必空间换时间），适合于海量数据的的计算场景。 2. 并行与分布式计算 1) 任务切分、分而治之

nginx高并发配置

阅读更多关于 nginx高并发配置

一、这里的优化主要是指对nginx的配置优化，一般来说nginx配置文件中对优化比较有作用的主要有以下几项： 1.nginx进程数，建议按照cpu数目来指定，一般跟cpu核数相同或为它的倍数。 worker_processes 8; 2.为每个进程分配cpu，上例中将8个进程分配到8个cpu，当然可以写多个，或者将一个进程分配到多个cpu。 worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 3.下面这个指令是指当一个nginx进程打开的最多文件描述符数目，理论值应该是系统的最多打开文件数（ulimit-n）与nginx进程数相除，但是nginx分配请求并不是那么均匀，所以最好与ulimit -n的值保持一致。 worker_rlimit_nofile 65535; 4.使用epoll的I/O模型，用这个模型来高效处理异步事件 use epoll; 5.每个进程允许的最多连接数，理论上每台nginx服务器的最大连接数为worker_processes*worker_connections。 worker_connections 65535; 6.http连接超时时间，默认是60s，功能是使客户端到服务器端的连接在设定的时间内持续有效

开源框架之一第一篇：OKhttp解析,这些你又了解多少呢？

阅读更多关于开源框架之一第一篇：OKhttp解析,这些你又了解多少呢？

一、整体思路从使用方法出发，首先是怎么使用，其次是我们使用的功能在内部是如何实现的，实现方案上有什么技巧，有什么范式。全文基本上是对 OkHttp 源码的一个分析与导读，非常建议大家下载 OkHttp 源码之后，跟着本文，过一遍源码。对于技巧和范式，由于目前我的功力还不到位，分析内容没多少，欢迎大家和我一起讨论。本部分内容是关于Android进阶的一些知识总结，涉及到的知识点比较杂，不过都是面试中几乎常问的知识点，也是加分的点。关于这部分内容，可能需要有一些具体的项目实践。在面试的过程中，结合具体自身实践经历，才能更加深入透彻的描绘出来相关内容后续GitHub更新,想冲击金三银四的小伙伴可以找找看看，欢迎star （顺手留下GitHub链接，需要获取相关面试等内容的可以自己去找） https://github.com/xiangjiana/Android-MS 更多完整项目下载。未完待续。源码。图文知识后续上传github。可以点击关于我联系我获取首先放一张完整流程图（看不懂没关系，慢慢往后看）：二、基本用例来自 OKHTTP 官方网站 2.1.创建 OkHttpClient 对象 OkHttpClient client = new OkHttpClient(); 咦，怎么不见 builder ？莫急，且看其构造函数： public

分布式缓存系统Memcached简介与实践

阅读更多关于分布式缓存系统Memcached简介与实践

缘起: 在数据驱动的web开发中，经常要重复从数据库中取出相同的数据，这种重复极大的增加了数据库负载。缓存是解决这个问题的好办法。但是ASP.NET中的虽然已经可以实现对页面局部进行缓存，但还是不够灵活。此时Memcached或许是你想要的。 Memcached是什么? Memcached是由Danga Interactive开发的，高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。 Memcached能缓存什么？通过在内存里维护一个统一的巨大的hash表，Memcached能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。 Memcached快么？非常快。Memcached使用了libevent（如果可以的话，在linux下使用epoll）来均衡任何数量的打开链接，使用非阻塞的网络I/O，对内部对象实现引用计数(因此，针对多样的客户端，对象可以处在多样的状态)，使用自己的页块分配器和哈希表，因此虚拟内存不会产生碎片并且虚拟内存分配的时间复杂度可以保证为O(1).。 Danga Interactive为提升Danga Interactive的速度研发了Memcached。目前，LiveJournal.com每天已经在向一百万用户提供多达两千万次的页面访问。而这些，是由一个由web服务器和数据库服务器组成的集群完成的

分布式缓存系统Memcached简介与实践基于 .NET

阅读更多关于分布式缓存系统Memcached简介与实践基于 .NET

HTML5离线缓存

阅读更多关于 HTML5离线缓存

HTML5 引入了应用程序缓存，这意味着 web 应用可进行缓存，并可在没有因特网连接时进行访问。应用程序缓存为应用带来三个优势：离线浏览 - 用户可在应用离线时使用它们速度 - 已缓存资源加载得更快减少服务器负载 - 浏览器将只从服务器下载更新过或更改过的资源。服务器配置 1. 需要在 apache配置文件加： ① AddType text/cache-manifest .manifest 客户端配置 1、创建这个 houdun.manifest 清单文件： CACHE MANIFEST# 这一句必须存在，而且必须放在头部 CACHE# 这一句指明要缓存的内容，一行写一个文件名 NETWORK # 声明用于指定无需缓存的文件 FALLBACK #这个声明允许你在资源不可用的情况下，将用户重定向到特定文件，一行可以写多个文件名。 2、关联 manifest 文件到 html 文档： ① <html manifest="/houdun.manifest"> 更新缓存的方式 1. 更新manifest文件 1.浏览器发现manifest文件本身发生变化，便会根据新的 manifest文件去获取新的资源进行缓存。 2.当manifest文件列表并没有变化的时候，我们通常通过修改manifest注释的方式来改变文件，从而实现更新。 2. 通过javascript操作

HTML5离线缓存

阅读更多关于 HTML5离线缓存

通过离线存储。我们可以通过把需要离线存储在本地的文件列在一个manifest配置文件中，这样即使在离线的情况下，用户也可以正常使用这些文件。首先需要在页面头部加入一个 manifest 的属性： <!DOCTYPE HTML> <html manifest = "cache.manifest"> ... </html> cache.manifest 文件的书写方式，像下面这样： CACHE MANIFEST #v0.11 CACHE: js/app.js css/style.css NETWORK: resourse/logo.png FALLBACK: / /offline.html 离线存储的manifest一般由三个部分组成： CACHE：表示需要离线存储的资源列表，由于包含manifest文件的页面将被自动离线存储，所以不需要把页面自身也列出来。 NETWORK：表示在它下面列出来的资源只有在在线的情况下才能访问，他们不会被离线存储，所以在离线情况下无法使用这些资源。不过，如果在CACHE和NETWORK中有一个相同的资源，那么这个资源还是会被离线存储，也就是说CACHE的优先级更高。 FALLBACK：表示如果访问第一个资源失败，那么就使用第二个资源来替换他，比如上面这个文件表示的就是如果访问根目录下任何一个资源失败了，那么就去访问offline.html。

h5 离线缓存机制-manifest

阅读更多关于 h5 离线缓存机制-manifest

转自：http://www.cnblogs.com/kangaoxiaoshi/p/5100276.html 什么是Manifest：其实Manifest是一个简单的文本文件，它的扩展名是任意的，定义需要缓存的文件、资源，当第一次打开时，浏览器会自动缓存相应的资源。 Manifest 的特点：离线浏览：即当网络断开时，可以继续访问你的页面。访问速度快：将文件缓存到本地，不需每次都从网络上请求。稳定性：做了Manifest缓存，遇到突发网络故障或者服务器故障，继续访问本地缓存。 Manifest的使用： html新增了一个manifest属性，可以用来指定当前页面的manifest文件。创建一个和html同名的manifest文件，比如页面为index.html，那么可以建一个index.manifest的文件，然后给index.html的html标签添加如下属性即可： <html lang="en" manifest="index.manifest"> 或 <html manifest = "http://www.example.com/index.manifest" > 1、manifest 的引入可以使绝对路径也可以是相对路径，如果你使用的是绝对路径，你的manifest文件必须和你的站点挂在同一个域名下。 2、manifest文件你可以保存为任意的扩展名

H5离线缓存机制-manifest

阅读更多关于 H5离线缓存机制-manifest

摘自： http://www.cnblogs.com/kangaoxiaoshi/p/5100276.html 另外相关文章：http://yanhaijing.com/html/2014/12/28/html5-manifest/ 简介：Manifest 其实就是web应用的一种缓存机制，主要用于现在webapp应用中，它是浏览器自己的一种机制，随着移动互联网时代的到来，网络可靠性降低，如果我们已经将需要的文件缓存下下来，一旦网络无法访问，也能继续访问。而且做好相应资源的缓存可以带来更好的用户体验，当用户使用自己的流量上网时，本地缓存不仅可以提高用户访问速度，而且大大节约用户的使用流量。先来看下我们公司实际项目中的使用情况。（阿里淘点点也使用了manifest）第一次加载时：整体请求是392KB耗时1.82s 当本地做了manifest缓存后：大小变成了2.6KB，请求时间缩短为757ms，这大大提高了用户的体验和节约了用户的流量。但是Manifest不是W3C标准的机制，使用过程中会或多或少遇见一些坑，但总体还是利大于弊，我们公司项目和淘点点都使用了Manifest。下面的截图显示各浏览器对Manifest的支持情况。什么是Manifest：其实Manifest是一个简单的文本文件，它的扩展名是任意的，定义需要缓存的文件、资源，当第一次打开时

订阅缓存服务器