浏览器缓存

目录 一、使用scrapy整站爬取网站信息 scrapy的真正起始爬取方法 使用scrapy整站爬取cnblogs网站信息大致思路 二、scrapy的请求传参 三、提升scrapy爬取数据的效率 四、scrapy的下载中间件 下载中间件使用代理池 scrapy settings详细介绍 五、selenium在scrapy中的使用流程 六、scrapy框架去重规则 七、scrapy-redis分布式爬虫 八、常见反扒措施 一、使用scrapy整站爬取网站信息 scrapy的真正起始爬取方法 当我们启动spider.py文件时，会执行我们设置好的 start_urls ,但是源码真正是如何处理的呢？我们进入scrapy.Spider查看源码，Spider类下有如下代码： def start_requests(self): cls = self.__class__#当前实例对象的类 if method_is_overridden(cls, Spider, 'make_requests_from_url'): warnings.warn( "Spider.make_requests_from_url method is deprecated; it " "won't be called in future Scrapy releases. Please " "override Spider

读书笔记：《高性能网站建设指南》 这本书中给出了14条提升网站性能的规则，由于实践经验尚浅，这里只做读书的总结。 绪言A：前端性能的重要性 　　 性能黄金法则：只有10%~20%的最终用户响应时间花在了下载HTML文档上，其余的80%~90%的时间花在了下载页面中的所有组件上。 绪言B：HTTP概述 　　压缩：减小响应的大小，浏览器可以使用Accept-Encoding头来生命它支持压缩。服务器使用Content-Encoding头来确认已被压缩。 　　条件GET请求：基于响应中的Last-Modified头，浏览器可以知道组件最后的修改时间。会使用If-Modified-since头将最后修改时间发送给服务器。 　　Expires头：通过明确指出浏览器是否可以使用组件的缓存副本来消除客户端和服务器之间进行一次往返确认的必要。 　　Keep-Alive：持久连接解决了多对一请求服务器导致的socket连接低效性的问题。 规则一——减少HTTP请求 　　图片地图(Image Map)：允许你在一个图片上关联多个URL。目标URL的选择取决于用户单击了图片了上的哪个位置。 　　CSS Sprites合并图片。 　　内联图片：通过使用data:URL模式可以在Web页面中包含图片但无需任何额外的HTTP请求。 　　合并脚本和样式表。 规则二——使用内容发布网络 　　CDN：Content

Hibernate工作原理及为什么要用? 原理： 1.通过Configuration().configure();读取并解析hibernate.cfg.xml配置文件 2.由hibernate.cfg.xml中的<mapping resource="com/xx/User.hbm.xml"/>读取并解析映射信息 3.通过config.buildSessionFactory();//创建SessionFactory 4.sessionFactory.openSession();//打开Sesssion 5.session.beginTransaction();//创建事务Transation 6.persistent operate持久化操作 7.session.getTransaction().commit();//提交事务 8.关闭Session 9.关闭SesstionFactory 为什么要用： 1. 对JDBC访问数据库的代码做了封装，大大简化了数据访问层繁琐的重复性代码。 2. Hibernate是一个基于JDBC的主流持久化框架，是一个优秀的ORM实现。他很大程度的简化DAO层的编码工作 3. hibernate使用Java反射机制，而不是字节码增强程序来实现透明性。 4. hibernate的性能非常好，因为它是个轻量级框架。映射的灵活性很出色。它支持各种关系数据库

前言 meta是html语言head区的一个辅助性标签。也许你认为这些代码可有可无。其实如果你能够用好meta标签，会给你带来意想不到的效果，meta标签的作用有：搜索引擎优化（SEO），定义页面使用语言，自动刷新并指向新的页面，实现网页转换时的动态效果，控制页面缓冲，网页定级评价，控制网页显示的窗口等！ html的meta总结 meta标签的组成：meta标签共有两个属性，它们分别是http-equiv属性和name属性，不同的属性又有不同的参数值，这些不同的参数值就实现了不同的网页功能。 1、name属性 name属性主要用于描述网页，与之对应的属性值为content，content中的内容主要是便于搜索引擎机器人查找信息和分类信息用的。 meta标签的name属性语法格式是： <meta name="参数"content="具体的参数值">。 其中name属性主要有以下几种参数：　 A、Keywords(关键字) 　 说明：keywords用来告诉搜索引擎你网页的关键字是什么。 举例： <meta name="keywords"content="meta总结,html meta,meta属性,meta跳转"> B、description(网站内容描述) 说明：description用来告诉搜索引擎你的网站主要内容。 举例： <meta name="description

这涉及到4种头标类型： Last-Modified(最后修改时间); Expires(有效期限); Pragma（编译指示）； Cache-Control(缓存控制); 前三个头标属于HTTP1.0标准。头标Last-Modified使用UTC日期时间值。如果缓存系统发现Last-Modified值比页面缓存版本的更接 近当前时间，他就知道应该使用来自服务器的新版本。 Expires 表明了缓存版本何时应该过期(格林威治标准时间)。把它设置为一个以前的时间就会强制使用服务器上的页面。 Pragma生命了页面数据应该如何被处理。可以这样避免对页面进行缓存： header("Pragma:no-cache"); Cache-Control 头标是在HTTP1.1里添加的，能够实现更细致的控制（还应该继续使用HTTP1.0头标)。Cache-Control的设置有 很多，如下表： 指令 含义 public 可以在任何地方缓存 private 只能被浏览器缓存 no-cache 不能在任何地方缓存 must-revalidate 缓存必须检查更新版本 proxy-revalidate 代理缓存必须检查更新版本 max-age 内容能够被缓存的时期，以秒表示 s-maxage 覆盖共享缓存的max-age设置 下面实例利用header（）设置浏览器的缓存： <?php # Script 2

强缓存 强缓存是利用Expires或者Cache-Control这两个http response header实现的，它们都用来表示资源在客户端缓存的有效期。 Expires是http1.0提出的一个表示资源过期时间的header，它描述的是一个绝对时间，由服务器返回，用GMT格式的字符串表示，如：Expires:Thu, 31 Dec 2037 23:55:55 GMT，它的缓存原理是： 1）浏览器第一次跟服务器请求一个资源，服务器在返回这个资源的同时，在respone的header加上Expires的header 2）浏览器在接收到这个资源后，会把这个资源连同所有response header一起缓存下来（所以缓存命中的请求返回的header并不是来自服务器，而是来自之前缓存的header）； 3）浏览器再请求这个资源时，先从缓存中寻找，找到这个资源后，拿出它的Expires跟当前的请求时间比较，如果请求时间在Expires指定的时间之前，就能命中缓存，否则就不行。 4）如果缓存没有命中，浏览器直接从服务器加载资源时，Expires Header在重新加载的时候会被更新。 Expires是较老的强缓存管理header，由于它是服务器返回的一个绝对时间，在服务器时间与客户端时间相差较大时，缓存管理容易出现问题，比如随意修改下客户端时间，就能影响缓存命中的结果。 所以在http1

HTTP协议中，关于一些头域的解释很模糊，网上的解释有些甚至是打架的，例如cache-control:no-cache，为了搞清这个头，google了不少资料，但很多都是各有各说法，甚至相互矛盾。http header中cache-control无疑是非常重要的一个头，往往涉及到性能问题，缓存，缓存代理等等都无法避免跟cache-control打交道。当然还有其他一些头域如last-modified，但它们含义都非常明确，至少没有cache-control那么含糊。 就连浏览器之间，对cache-control也有不同的理解，导致了对这个头的不同的表现。 网上很多关于cache-control的资料写得很模糊，我觉得很多都没有，或者可能是忽略了几个地方，使得我们看着这些资料的时候，似懂非懂。或者作者觉得某些地方足够容易理解，所以根本不觉得需要强调，但正是这些被忽略掉的“前提条件”令我们即使看完资料，也很难弄懂问题。那些对cache-control进行解释的资料通常会忽略的一些"前提条件"有这几个： 1.cache-control是出现在response还是request中。很多资料在解释cache-control时候，都没有指明是response中的cache-control（也就是由服务器应答时发送的cache-control）还是request中的cache-control

缓存是一种将数据保存在本地，在下一次需要使用它时，无需从数据的源头而是直接本地读取的一种技术。在http中，缓存是非常重要的组成部分。 意义 http 是一种 请求->响应 的半双工通讯协议，网页的 html 文档以及内部的每一张图片、javascript 脚本文本、css 样式文件等资源都需要向服务器发出请求，然后得到所需资源的响应。 如果没有浏览器缓存 从向服务器发起 TCP 连接请求，到服务器磁盘 IO，计算到响应传输整个过程，对网络带宽，服务器性能都是不小的考验。而一个页面往往会有少则十几，多则几十上百的请求，如果每一个资源都从服务端获取，在并发的情况下会给服务器带来很大的压力。 加入缓存后，如果客户端没有资源，会从服务端获取，取得资源后同时存在本地。下一次请求时如果有有效缓存则取缓存，由于不会向服务器发起请求，可以减少服务器的压力，同时从本地读取，不会占用网络带宽，速度也是极快的。 那么 HTTP 协议是怎么控制缓存的呢？ 缓存前提 资源标志 浏览器会把请求的类型 Method （通常来说我们只缓存 get 的请求）和 URI 完整地址作为一个资源的标志。 例如下面这些浏览器都会认为是不同资源，后者并不会匹配前者的缓存。 https://xxxx/a.js 和 http://xxxx/a.js http://xxxx/a.js 和 http://yyyy/a.js

缓存是搭建高性能高并发系统的必备手段之一，通常用来解决性能瓶颈，是程序员的必备知识点，也是面试必备考点。 尽管，产品经理大概率不会关注系统性能，但程序员在实现需求的时候必须思考系统承载的并发量和用户量。缓存主要用来解决性能瓶颈的问题，一旦错误使用反而会令系统崩溃。今天，我们就通过4W的方式系统化地总结缓存相关的理论知识。 随着互联网业务的快速迭代以及用户量激增，应用架构需要不断调整甚至重构以适应这种业务的快速发展。当数据量迅速增长，业务逻辑越复杂，服务链路不断增加等等一系列问题，会导致RT过长，服务性能需要逐渐提升以满足更优的用户体验。在优化系统架构时通常的所用的两种方式scale up以及scale out，scale out就是通常所说的水平扩展，将应用服务设计成无状态性，可以方便水平扩展通过增加硬件的方式分解访问压力。而scale up则是将单个服务链路性能提升，以提升QPS以及系统的吞吐量。在追求更优的性能时，大多数业务场景是读多写少的情况，一般会通过引入缓存的方式解决。 What——什么是缓存? 关于缓存的定义，在wiki中为： a collection of data duplicating original values stored elsewhere on a computer, usually for easier access.

介绍 每天，用 iPhone 拍摄的照片 数量超过了任何相机。每年 iOS 设备上的显示效果变得越来越好，回到 iPad 刚出现 还没有 Retina 显示屏的时代，大屏幕的杀手级功能之一就是可以展示用户照片和浏览器照片库。自从相机成为 iPhone 最重要和最受欢迎的功能开始，对能管理和加工用户照片库中宝贵的照片的应用程序和工具就有着巨大的需求。 直到 2014 年夏天前，开发者只能用 AssetsLibrary 框架 访问日益增长的用户的照片库。几年以来，相机应用和照片应用发生了显著的变化，增加了许多新特性，包括按时刻来组织照片的方式。但与此同时，AssetsLibrary 框架却没有跟上步伐。 随着 iOS 8 的到来，苹果给我们提供了一个现代化的框架 —— PhotoKit，它比 AssetsLibrary 表现更好，并且拥有让应用和设备照片库无缝工作的特性。 概要 我们将从 框架对象模型 的鸟瞰图开始：实体和实体间的关系，获取实体的实例，以及使用获取的结果进行工作。 除此之外，我们的讲解还会涉及到一些在使用 AssetsLibrary 时，尚未对开发者开放的 资源元数据 。 然后我们会讨论 加载资源的图像数据 ：过程本身，大量可用的选项，一些陷阱和边界案例。 最后，我们会谈谈通过外部参与者来 观察照片库的变化 ，学习如何创建和提交我们 自己修改的改变 。 PhotoKit