squid

新型的大型bbs架构(squid+nginx

穿精又带淫゛_ 提交于 2019-12-09 23:20:47
这个架构基于squid、nginx和lvs等技术,从架构上对bbs进行全面优化和保护,有如下特点: 1、高性能:所有的点击基本上全部由前端缓存负责,提供最快速的处理。 2、高保障度:不需考虑应用程序稳定与否、程序语言是何种、数据库是何种,都能从架构上保证稳定。 3、高可用性:对应用程序的修改达到最简化:在程序的某些地方加入清缓存的语句即可,当然还需要做页面静态化的工作和统计工作。 首先看图,这个图比较大: 这个架构的特点和一些流程的说明: 1、主域名和图片域名分离 域名分离可以使流量分离,缓存策略分离等等,好处诸多。bbs初期一定要做好规划,将图片用另外的域名独立服务,即使没有足够机器,域名也要先分开。另外,图片服务器可以使用有别于主域名的另一个域名,一个好处是可以减少读取cookie对图片服务器的压力,另一个是提高安全性,避免cookie泄露。 2、使用LVS作为前端、二级代理和数据库的访问入口 使用LVS作为入口,比其他任何一种方式都来得更优质。首先LVS的负载能力很强,因为它工作在网络协议的第4层,使用虚拟ip技术,所以它本身并不担负任何流量的处理,仅仅是一个封包转发的功能;第二,LVS的配置相对简单而且稳定,一般去调整的几率比较低,也减少了因人为等因素而出现故障;第三,LVS可以处理任何端口的负载均衡,所以它基本可以做所有服务的负载均衡和容错。在这个架构中

Fetching git behind proxy in docker container

☆樱花仙子☆ 提交于 2019-12-08 02:06:11
问题 I've been stuck for several hours trying to fetch from git behind proxy running inside a docker container. Removing intermediate container 84c4f6722d09 Step 16 : RUN bundle install --without development test ---> Running in bbc7bfff1bae Fetching gem metadata from https://rubygems.org/......... Fetching version metadata from https://rubygems.org/... Fetching dependency metadata from https://rubygems.org/.. Fetching git://github.com/seuros/state_machine.git I can confirm my proxy works for apt

代理概述-正向代理,反向代理,透明代理

谁说胖子不能爱 提交于 2019-12-07 21:02:08
一、正向代理(Forward Proxy) 一般情况下,如果没有特别说明,代理技术默认说的是正向代理技术。关于正向代理的概念如下: 正向代理(forward)是一个位于客户端【用户A】和原始服务器(origin server)【服务器B】之间的服务器【代理服务器Z】,为了从原始服务器取得内容,用户A向代理服务器Z发送一个请求并指定目标(服务器B),然后代理服务器Z向服务器B转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。如下图1.1 (图1.1) 正向代理就是代理服务器替代访问方【用户A】去访问目标服务器【服务器B】 这就是正向代理的意义所在。而为什么要用代理服务器去代替访问方【用户A】去访问服务器B呢?这就要从代理服务器使用的意义说起。 使用正向代理服务器作用主要有以下几点: 1、访问本无法访问的服务器B ,如下图1.2 (图1.2) 我们抛除复杂的网络路由情节来看图1.2,假设图中路由器从左到右命名为R1,R2假设最初用户A要访问服务器B需要经过R1和R2路由器这样一个路由节点,如果路由器R1或者路由器R2发生故障,那么就无法访问服务器B了。但是如果用户A让代理服务器Z去代替自己访问服务器B,由于代理服务器Z没有在路由器R1或R2节点中,而是通过其它的路由节点访问服务器B,那么用户A就可以得到服务器B的数据了。现实中的例子就是“ 翻墙 ”

Unable to test HTTP PUT-based file upload via Squid Proxy

对着背影说爱祢 提交于 2019-12-07 13:35:26
问题 I can upload a file to my Apache web server using Curl just fine: echo "[$(date)] file contents." | curl -T - http://WEB-SERVER/upload/sample.put However, if I put a Squid proxy server in between, then I am not able to: echo "[$(date)] file contents." | curl -x http://SQUID-PROXY:3128 -T - http://WEB-SERVER/upload/sample.put Curl reports the following error: Note: This error response was in HTML format, but I've removed the tags for ease of reading. ERROR: The requested URL could not be

Squid+iptables: how do i allow https to pass-through and bypassing Squid?

生来就可爱ヽ(ⅴ<●) 提交于 2019-12-07 08:47:26
Basically started with Squid and iptables today (google is your friend). This stuff is going to be the death of me. I have Squid3 setup on Ubuntu 9.04 server as Transparent Proxy. It works sweetly when i use the proxy-box as my default gateway etc. The iptable rules for this setup was part of the tutorial. :P I can unfortunately not access https sites (such as Gmail or anything on port 443 basically). This is because Squid dont like what it cannot cache, which in this case is the https traffic. I would like to add an iptable rule so that i can basically access https sites and use Skype.

使用haproxy+squid构建正向代理服务

两盒软妹~` 提交于 2019-12-06 21:15:39
##使用haproxy+squid构建正向代理服务 #####正向代理的业务场景 假设在局域网内存在6台主机,其中只有一台主机可以上外网,那么其余5台主机就需要通过那一台可以上外网的主机上网,即所谓代理(正向代理)。代理服务器启动后,不能上网的主机只需在IE中配置代理服务器即可。IE中的代理服务器设置为 “Internet选项->连接->局域网设置->代理服务器” 中设置代理服务器的IP和代理服务器的端口。 #####问题来了,如何构建一个代理服务呢? 如上述假设,在那一台可以出外网的主机上安装代理软件squid,并进行适当配置即可。应该说明的是,代理软件很多,如果那一台能出外网的主机是Windows系统的话,可以选择ccproxy。这里主要是指在Linux环境下的代理,其他代理软件还有nginx,不过貌似大家都用它做反向代理,做正向代理这里还是用squid吧。 #####squid的安装,配置,运行 安装 sudo apt-get install squid 配置, 打开/etc/squid3/squid.conf文件,注意修改如下的配置项 http_port 3128 #代理服务器的端口 ##http_access deny !Safe_ports #注释掉此项 ##http_access deny manager #注释掉此项 ##http_access deny to

PHP解决网站大数据大流量与高并发

谁说我不能喝 提交于 2019-12-06 17:35:56
1:硬件方面 普通的一个p4的服务器每天最多能支持大约10万左右的IP,如果访问量超过10W那么需要专用的服务器才能解决,如果硬件不给力 软件怎么优化都是于事无补的。主要影响服务器的速度有:网络-硬盘读写速度-内存大小-cpu处理速度。 2:软件方面 第一个要说的就是数据库, 首先要有一个很好的架构,查询尽量不用* 避免相关子查询 给经常查询的添加索引 用排序来取代非顺序存取,如果条件允许 ,一般MySQL服务器最好安装 在Linux操作系统中 。关于apache和nginx在高并发的情况下推荐使用nginx,ginx是Apache服务器不错的替代品。nginx内存消耗少 官方测试能够支撑5万并发连接,在实际生产环境中跑到2~3万并发连接数。php方面不需要的模块尽量关闭,使用memcached,Memcached 是一个高性能的分布式内存对象缓存系统,不使用数据库直接从内存当中调数据,这样大大提升了速度,iiS或Apache启用GZIP压缩优化网站,压缩网站内容大大节省网站流量。 第二,禁止外部的盗链。 外部网站的图片或者文件盗链往往会带来大量的负载压力,因此应该严格限制外部对 于自身的图片或者文件盗链,好在目前可以简单地通过refer来控制盗链,Apache自 己就可以通过配置来禁止盗链,IIS也有一些第三方的ISAPI可以实现同样的功能。当 然

Fetching git behind proxy in docker container

两盒软妹~` 提交于 2019-12-06 11:47:46
I've been stuck for several hours trying to fetch from git behind proxy running inside a docker container. Removing intermediate container 84c4f6722d09 Step 16 : RUN bundle install --without development test ---> Running in bbc7bfff1bae Fetching gem metadata from https://rubygems.org/......... Fetching version metadata from https://rubygems.org/... Fetching dependency metadata from https://rubygems.org/.. Fetching git://github.com/seuros/state_machine.git I can confirm my proxy works for apt-get and earlier git clone command in the Dockerfile. Any idea what am doing wrong please ? Here is my

squid反向代理

喜你入骨 提交于 2019-12-06 10:15:27
squid 反向代理配置,作为 web 服务器的前端内容缓存器。 本文在介绍 squid 反向代理的工作原理的基础上,指出反向代理技术在提高网站访问速度,增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下,利用 DNS 轮询和 Squid 反向代理技术,实现了网站的负载均衡,从而提高了网站的可用性和可靠性。 现在有许多大型的门户网站如 SINA 都采用 squid 反向代理技术来加速网站的访问速度,可将不同的 URL 请求分发到后台不同的 WEB 服务器上,同时互联网用户只能看到反向代理服务器的地址,加强了网站的访问安全。 反向代理的概念 反向代理服务器又称为 WEB 加速服务器,它位于 WEB 服务器的前端,充当 WEB 服务器的内容缓存器。其系统结构如图 1 图 1. 系统结构 系统结构 反向代理服务器是针对 WEB 服务器设置的,后台 WEB 服务器对互联网用户是透明的,用户只能看到反向代理服务器的地址,不清楚后台 WEB 服务器是如何组织架构的。当互联网用户请求 WEB 服务时, DNS 将请求的域名解析为反向代理服务器的 IP 地址,这样 URL 请求将被发送到反向代理服务器,由反向代理服务器负责处理用户的请求与应答、与后台 WEB 服务器交互。利用反向代理服务器减轻了后台 WEB 服务器的负载,提高了访问速度,同时避免了因用户直接与 WEB

使用curl提交post请求到服务器被squid代理拦截

大城市里の小女人 提交于 2019-12-05 23:36:26
原文地址: http://dade.io/archives/25/ 做网盘,上传文件到服务器时(服务器使用squid做代理),遇到下面的错误提示: 百思不得其解,查看PHP文档时,笔记中发现如下说明: Sending a post file upload across a squid proxy, the request was rejected by the proxy. In the error page returned it provided among other possible causes:"Expect:" feature is being asked from a HTTP/one.zero. Solution: Add the option <?php curl_setopt($cl,CURLOPT_HTTPHEADER,array("Expect:")); ?>. This will remove the expect http header. 按照方案去掉“Expect:”的header头,OK! 文档还是挺有用的,希望能帮到各位! 来源: oschina 链接: https://my.oschina.net/u/197193/blog/169930