squid

1、缓存服务器介绍 缓存服务器（英文意思cache server）,即用来存储（介质为内存及硬盘）用户访问的网页，图片，文件等等信息的专用服务器。这种服务器不仅可以使用户可以最快的得到他们想要的信息，而且可以大大减少服务端网络传输的数据量。缓存服务器往往也是代理服务器。对于网站的用户来说，缓存服务器和代理是不可见的，即在用户看来所有的网站信息都来自其正在访问的网站，而实际上可能是缓存服务器在提供访问数据。 目前国内互联网公司常用的缓存服务器有：squid，varnish（几乎绝迹），nginx，ats。 squid作为缓存和代理服务器的历史十分的悠久，本章我们主要讲述squid服务，尽管不少人谈及其他软件的缓存机制比squid如何优异，但我们还是要首先掌握这个老牌的开源cache软件，因为它经历的历程实在是太悠久了，等大家掌握了squid服务后，其他的软件就不在话下了。如果再有时间，可以测试下varnish，nginx，squid三者之间的性能对比，而不是轻易的听信于他人的说法，别人说好，只能代表他个人的观点，我们自己用事实证明，才是学习和工作的真谛。 国内基本上90%以上的商业CDN公司，象国内的CDN基本都在用squid，象蓝汛，网宿，帝联，sina在用ats。 Squid官方：http://www.squid-cache.org/ 2、squid服务介绍

缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。 本文是缓存在分布式应用第一篇文章，介绍缓存的原理，缓存的分类，缓存的设计，CDN缓存（原理，架构参考和技术实践），反向代理缓存（原理，Squid架构实践和常用代理缓存之间的比较）。本文主要是自己的学习总结和网络文章摘录，供学习之用。 本次分享大纲 缓存概述 CDN缓存 反向代理缓存 分布式缓存 本地缓存 缓存架构示例 参考资料 分享总结 一、缓存概述 缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点 数据访问的性能问题 。 提供高性能的数据快速访问 。 1.1缓存的原理 (1)将数据写入/读取速度更快的存储（设备）； (2)将数据缓存到离应用最近的位置； (3)将数据缓存到离用户最近的位置。 1.2缓存分类 在分布式系统中，缓存的应用非常广泛，从部署角度有以下几个方面的缓存应用。 (1)CDN缓存； (2)反向代理缓存； (3)分布式Cache； (4)本地应用缓存； 1.3缓存媒介 常用中间件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等； 缓存的内容：文件，数据，对象； 缓存的介质：CPU，内存（本地，分布式），磁盘（本地，分布式） 1.3缓存设计 缓存设计需要解决以下几个问题： (1)缓存什么？

原文: 大型网站架构系列：缓存在分布式系统中的应用（一） 缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。 本文是缓存在分布式应用第一篇文章，介绍缓存的原理，缓存的分类，缓存的设计，CDN缓存（原理，架构参考和技术实践），反向代理缓存（原理，Squid架构实践和常用代理缓存之间的比较）。本文主要是自己的学习总结和网络文章摘录，供学习之用。 本次分享大纲 缓存概述 CDN缓存 反向代理缓存 分布式缓存 本地缓存 缓存架构示例 参考资料 分享总结 一、缓存概述 缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。 1.1缓存的原理 （1） 将数据写入/读取速度更快的存储（设备）； （2） 将数据缓存到离应用最近的位置； （3） 将数据缓存到离用户最近的位置。 1.2缓存分类 在分布式系统中，缓存的应用非常广泛，从部署角度有以下几个方面的缓存应用。 （1） CDN缓存； （2） 反向代理缓存； （3） 分布式Cache； （4） 本地应用缓存； 1.3缓存媒介 常用中间件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等； 缓存的内容：文件，数据，对象； 缓存的介质：CPU，内存（本地，分布式），磁盘（本地，分布式） 1.3缓存设计

在前面的文章中，我们曾对HAProxy、Varnish的性能、配置做过详细介绍。今天给各位带来的是这三款开源代理服务器软件的区别，以及什么样的场景使用哪款软件。 哪个软件能够支撑高可用，高并发，还要好维护，运维和网络管理员如何从这些方案中选择一个适合的代理服务器解决方案。 下面我们就来看这三种代理服务器的基本资料，然后对比异同。 关于代理服务器 代理服务器的位置是后端服务的前端，用来负载流量，分配资源，以及解决安全攻击等问题，比如DDOS，并且支持Web应用的高可用。 Varnish Varnish是一款反向HTTP代理服务器，提供加速设计给大流量的网站应用。不像其它 ，如果你要使用代理和负载均衡。 Varnish的典型用户有WikiPedia，纽约时报。我在好乐买（Okbuy.com）也部署了Varnish。保证了服务器的性能和高可用。 还有很多实例，不再枚举。Varnish是从2006年开始开发的。 Nginx Nginx恐怕是Web服务器里排名老大，它兼具负载均衡、反向代理等一身的Web服务器。Nginxr的开发活跃度和社区也都非常活跃。 目前，Nginx分为开源版和企业版两种，另外还有变体版本，比如淘宝优化的Tenginx等。Nginx已经被大量高负载网站所应用，国内外知名大部分都已经使用Nginx做为Web服务器，如WordPress,Aribnb，中国的BAT等大量采用

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 那夜 那是一个寂静的深夜，科比还没起床练球，虽然他真的可能不练了。 我废了好大劲，爬虫终于写好了！BUG也全部调通了！心想，终于可以坐享其成了！ 泡杯茶，安静地坐在椅子上看着屏幕上一行行文字在控制台跳出，一条条数据嗖嗖进入我的数据库，一张张图片悄悄存入我的硬盘。人生没有几个比这更惬意的事情了。 我端起茶杯，抿了一口，静静地回味着茶香。 这时，什么情况！屏幕爆红了！爆红了！一口茶的功夫啊喂！ 怎么回事！咋爬不动了，不动了！我用浏览器点开那一个个报错的链接，浏览器显示 您的请求过于频繁，IP已经被暂时封禁，请稍后再试！ 沃日，我IP被封了？此时此刻，空气凝固了，茶也不再香了，请给我一个爱的抱抱啊。 时候不早了，还是洗洗睡吧。 次日 那一晚，辗转反侧难以入睡。 怎么办？怎么办？如果是你你该怎么办？ 手动换个IP？得了吧，一会又要封了，还能不能安心睡觉啊？ 找免费代理？可行，不过我之前测过不少免费代理IP，一大半都不好用，而且慢。不过可以一直维护一个代理池，定时更新。 买代理？可以可以，不过优质的代理服务商价格可是不菲的，我买过一些廉价的，比如几块钱套餐一次提取几百IP的，算了还是不说了都是泪。 然而最行之有效的方法是什么？那当然是ADSL拨号！ 这是个啥？且听我慢慢道来。 什么是ADSL ADSL

一.环境介绍 平常我这边都用的是ss，今天测试一下squid+stunnel实现代理服务 1.服务端：云服务器，服务端squid 2.本地内网的PC机，能上网就行，客户端stunnel 二.服务端安装squid 1.安装squid yum install squid openssl openssl-devel -y 2.生成加密代理证书 cd /etc/squid openssl req -new > tank.csr //要求输入密码和确认密码 ,最后一步写服务器主机名 openssl rsa -in privkey.pem -out tank.key //输入上面输入的密码 openssl x509 -in tank.csr -out tank.crt -req -signkey tank.key -days 3650 3.配置squid vi /etc/squid/squid.conf 新增优化配置 acl OverConnLimit maxconn 10 //限制每个IP最大允许10个连接 minimum_object_size 1 KB //允午最小文件请求体大小 maximum_object_size 1 MB //允午最大文件请求体大小 cache_swap_low 10 //最小允许使用swap 10% cache_swap_high 25 //最大允许使用swap