缓存服务器

ceph s3cmd的命令 问题： 1. 使用access_key和secret_key获取的对象url,会缓存在浏览器disk cache中,导致每次第二次访问资源的时候，会报no-cors的错误 2. 浏览器获取数据时，会显示（from disk cache） 针对问题2，调研 强缓存 强缓存 强缓存：不会向服务器发送请求，直接从缓存中读取资源，在 chrome 控制台的 Network 选项中可以看到该请求返回 200 的状态码，并且 Size 显示 from disk cache 或 from memory cache。强缓存可以通过设置两种 HTTP Header 实现：Expires 和 Cache-Control。 1.Expires 缓存过期时间，用来指定资源到期的时间，是服务器端的具体的时间点。也就是说，Expires=max-age + 请求时间，需要和 Last-modified 结合使用。Expires 是 Web 服务器响应消息头字段，在响应 http 请求时告诉浏览器在过期时间前浏览器可以直接从浏览器缓存取数据，而无需再次请求。 Expires 是 HTTP/1 的产物，受限于本地时间，如果修改了本地时间，可能会造成缓存失效。Expires: Wed, 22 Oct 2018 08:41:00 GMT表示资源会在 Wed, 22 Oct 2018 08

缓存大致可以分为两类，一种是应用内缓存，比如Map(简单的数据结构)，以及EH Cache(Java第三方库)，另一种 就是缓存组件，比如Memached，Redis；Redis（remote dictionary server）是一个基于KEY-VALUE的高性能的 存储系统，通过提供多种键值数据类型来适应不同场景下的缓存与存储需求 存储结构 大家一定对字典类型的数据结构非常熟悉，比如map ，通过key value的方式存储的结构。 redis的全称是remote dictionary server(远程字典服务器)，它以字典结构存储数据，并允许其他应用通过TCP协议读写字典中的内容。数 据结构如下 启动停止redis Redis有哪些可执行文件 Redis-server Redis服务器 Redis-cli Redis命令行客户端 Redis-benchmark　　　　　　　　　 Redis性能测试工具 Redis-check-aof Aof文件修复工具 Redis-check-dump Rdb文件检查工具 Redis-sentinel Sentinel服务器（2.8以后） 常用的命令是redis-server和redis-cli \1.直接启动 redis-server ../redis.conf 服务器启动后默认使用的是6379的端口，通过--port可以自定义端口；

什么是Redis? Redis 是开源免费的，遵守BSD协议，是一个高性能的key-value非关系型数据库。 redis单线程问题 所谓的单线程指的是网络请求模块使用了一个线程（所以不需考虑并发安全性），即一个线程处理所有网络请求，其他模块仍用了多个线程。 redis采用多路复用机制：即多个网络socket复用一个io线程，实际是单个线程通过记录跟踪每一个Sock(I/O流)的状态来同时管理多个I/O流. Redis特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供String，list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即master-slave模式的数据备份。 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。 原子 – Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行。 丰富的特性 – Redis还支持 publish/subscribe, 通知, 设置key有效期等等特性。 redis作用: 可以减轻数据库压力，查询内存比查询数据库效率高。 Redis应用： token生成、session共享、分布式锁、自增id、验证码等。 比较重要的3个可执行文件

漫谈网站优化提速 前几天的一个晚上，在和一个偶然认识的小白，聊了半个晚上的网站加速的事情，总觉自己最后没有讲清楚，固有此文产生。 本篇文章只涉及前端优化，暂不涉及后端操作，默认后端能抗住所有访问，算力无限大，响应时间无限小。因为加上后端的话，这个命题不是短短的几篇文章搞的定的，大多数都要依据具体的业务来确定。 本文涉及到的浏览器为Chrome浏览器，不具有统一性，仅供参考使用。 用户和网站的交互是通过浏览器来完成的，要谈前端优化，那么，我们就要搞清楚，从用户输入了一串url以后，浏览器到底做了什么。 1. 浏览器如何打开一个网页 这里我们先不考虑路由寻址的事情，后面我们再细细道来，在Chrome浏览器中先打开F12，打开network，可以看到一个网站从输入url到页面显示，具体发送了多少请求。我们以百度为示例，看一下： 首先第一行，可以看到浏览器请求了百度这个页面的主题文件HTML，当浏览器收到这个HTML之后，浏览器和这个页面的缘分，就此开始。 1.1 浏览器渲染流程 用户请求的HTML文本(text/html)通过浏览器的网络层到达渲染引擎后，渲染工作开始。每次通常渲染不会超过8K的数据块，其中基础的渲染流程图： webkit引擎渲染的详细流程，其他引擎渲染流程稍有不同： 渲染流程有四个主要步骤： 解析HTML生成DOM树 - 渲染引擎首先解析HTML文档，生成DOM树

一. HBase的 通用 优化 1 高可用 在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期，均衡 RegionServer 的负载，如果 Hmaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 Hmaster 的高可用配置。 HBase的高可用集群搭建参考： CentOS7.5搭建HBase1.2.6HA集群 2 Hadoop 的通用性优化 1) NameNode 元数据备份使用 SSD 2) 定时备份 NameNode 上的元数据 每小时或者每天备份，如果数据极其重要，可以 5~10 分钟备份一次。备份可以通过定时任务复制元数据目录即可。 3) 为 NameNode 指定多个元数据目录 使用 dfs.name.dir 或者 dfs.namenode.name.dir 指定。这样可以提供元数据的冗余和健壮性， 以免发生故障。 4) NameNode 的 dir 自恢复 设置 dfs.namenode.name.dir.restore 为 true，允许尝试恢复之前失败的 dfs.namenode.name.dir 目录，在创建 checkpoint 时做此尝试，如果设置了多个磁盘，建议允许。 5) HDFS 保证 RPC 调用会有较多的线程数 属性：dfs.namenode

另辟蹊径：vue单页面，多路由，前进刷新，后退不刷新 vue.js vue-cli vue-router javascript 阅读约 16 分钟 目的：vue-cli构建的vue单页面应用，某些特定的页面，实现前进刷新，后退不刷新，类似app般的用户体验。 注：　此处的刷新特指当进入此页面时，触发ajax请求，向服务器获取数据。不刷新特指当进入此页面时，不触发ajax请求，而是使用之前缓存的数据，以便减少服务器请求，用户体验更流畅。 项目需求： 任何技术的探索，都来自项目的需求。之前经手的一个项目是微信端商城，使用的是传统的mvc模式，利用的是jq+js，因此对于商城的项目需求比较熟悉。目前在学习vue，练手一个商城，遇到之前经常提及而无法很好解决的需求。有些页面需要前进刷新，后退不刷新。比如，从商城的【首页】-->【详情页】-->【订单提交页】，每次打开新页面都需要获取新数据，但是按下返回键后，就不需要再获取新数据了，而滚动条还保留在之前的位置。最常见的操作是从【首页】-->【详情页】，然后在从【详情页】-->【首页】，如此反复。 实例如图： 前人经验： 前人栽树，后人好乘凉。技术圈的分享一直都在蓬勃发展。遇到问题，我们可以尽情去搜索，去寻找大佬的足迹。针对上述需求，看到一个分享 vue-router 之 keep-alive ，比较符合我的需求，但是使用到我的项目上发现

前言 我们知道volatile关键字的作用是保证变量在多线程之间的可见性，它是java.util.concurrent包的核心，没有volatile就没有这么多的并发类给我们使用。 本文详细解读一下volatile关键字如何保证变量在多线程之间的可见性，在此之前，有必要讲解一下CPU缓存的相关知识，掌握这部分知识一定会让我们更好地理解volatile的原理，从而更好、更正确地地使用volatile关键字。 CPU缓存 CPU缓存的出现主要是为了解决CPU运算速度与内存读写速度不匹配的矛盾 ，因为CPU运算速度要比内存读写速度快得多，举个例子： 一次主内存的访问通常在几十到几百个时钟周期 一次L1高速缓存的读写只需要1~2个时钟周期 一次L2高速缓存的读写也只需要数十个时钟周期 这种访问速度的显著差异，导致CPU可能会花费很长时间等待数据到来或把数据写入内存。 基于此，现在CPU大多数情况下读写都不会直接访问内存（CPU都没有连接到内存的管脚），取而代之的是CPU缓存，CPU缓存是位于CPU与内存之间的临时存储器，它的容量比内存小得多但是交换速度却比内存快得多。而缓存中的数据是内存中的一小部分数据，但这一小部分是短时间内CPU即将访问的，当CPU调用大量数据时，就可先从缓存中读取，从而加快读取速度。 按照读取顺序与CPU结合的紧密程度，CPU缓存可分为： 一级缓存：简称L1

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 尽管这种攻击已经出现了十四年，但它的变种至今仍能看到。虽然能有效对抗SYN洪泛的技术已经存在，但是没有对于TCP实现的一个标准的补救方法出现。你可以在如今的操作系统和设备中找到保护应用层和网络层的不同解决方案的不同实现。本篇论文详细描述这种攻击并展望和评估现在应用于终端主机和网络设备的对抗SYN洪泛方法。 1 基本的漏洞 SYN洪泛攻击首次出现在1996年。当时Phrack杂志中描述了这种攻击并用代码实现了它[1]。这些信息被迅速应用于攻击一个网络服务提供商(ISP)的邮件和Telnet服务，并造成了停机。CERT(Computer Emergency Response Team)不久就发布了对于这种攻击技术的初步评估与解决方案[2]。 SYN洪泛攻击的基础是依靠TCP建立连接时三次握手的设计。第三个数据包验证连接发起人在第一次请求中使用的源IP地址上具有接受数据包的能力，即其返回是可达的。图1显示了一次普通的TCP连接开始时交换数据包的过程。 TCB(TCP 传输控制块)是一种包含一个连接所有信息的传输协议数据结构(实际上在许多操作系统中它是用于处理进站(inbound)连接请求的一个队列,该队列保存那些处于半开放(half-open)状态的TCP连接项目，和已建立完整连接但仍未由应用程序通过accept(

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> # nginx在安装完成后，大部分参数就已经是最优化了，我们需要管理的东西并不多 #user nobody; #进程数，建议小于或者是等于CPU总核心数 #建议值 <= cpu核心数量，一般高于cpu数量不会带好处，也许还有进程切换开销的负面影响 worker_processes 2; # 只记录更为严重的错误日志，可减少IO压力, 目前日志记录级别是warn 日志级别：debug | info | notice | warn | error | crit | alert | emerg #似乎这样子配置错误级别了但是有时候还是会打印出warn级别错误的，不管了 error_log logs/error.log error; #error_log logs/error.log notice; #error_log logs/error.log info; pid logs/nginx.pid; # 每进程最大可打开文件描述符数量(linux上文件描述符比较广义，网络端口、设备、磁盘文件都是) # 文件描述符用完了，新的连接会被拒绝，产生502类错误 # linux最大可打开文件数可通过ulimit -n FILECNT或 /etc/security/limits.conf配置 # 理论值 系统最大数量 /

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 我们来看看每个header的具体含义。 Request Cache-Control: max-age=0 以秒为单位 If-Modified-Since: Mon, 19 Nov 2012 08:38:01 GMT 缓存文件的最后修改时间。 If-None-Match: "0693f67a67cc1:0" 缓存文件的Etag值 Cache-Control: no-cache 不使用缓存 Pragma: no-cache 不使用缓存 Response Cache-Control: public 响应被缓存，并且在多用户间共享 ， （ 公有缓存和私有缓存的区别，请看另一节 ） Cache-Control: private 响应只能作为私有缓存，不能在用户之间共享 Cache-Control:no-cache 提醒浏览器要从服务器提取文档进行验证 Cache-Control:no-store 绝对禁止缓存（用于机密，敏感文件） Cache-Control: max-age=60 60秒之后缓存过期（相对时间） Date: Mon, 19 Nov 2012 08:39:00 GMT 当前response发送的时间 Expires: Mon, 19 Nov 2012 08:40:01 GMT 缓存过期的时间（绝对时间）