Redis

阿里面试题 1. 如何实现一个高效的单向链表逆序输出？ 2. 已知sqrt(2)约等于1.414，要求不用数学库，求sqrt(2)精确到小数点后10位 3. 给定一个二叉搜索树(BST)，找到树中第 K 小的节点 4. LRU缓存机制 5. 关于epoll和select的区别，以下哪些说法是正确的 6. 从innodb的索引结构分析，为什么索引的 key 长度不能太长 7. MySQL的数据如何恢复到任意时间点？ 8. NFS 和 SMB 是最常见的两种 NAS（Network Attached Storage）协议，当把一个文件系统同时通过 NFS 和 SMB 协议共享给多个主机访问时，以下哪些说法是错误的 9. 输入 ping IP 后敲回车，发包前会发生什么？ 10. 请解释下为什么鹿晗发布恋情的时候，微博系统会崩溃，如何解决？ 11. 现有一批邮件需要发送给订阅顾客，且有一个集群（集群的节点数不定，会动态扩容缩容）来负责具体的邮件发送任务，如何让系统尽快地完成发送？ 12. 有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？ 13. 如何实现两金额数据相加（最多小数点两位） 14. 关于并行计算的一些基础开放问题 15.

每个时代，都不会亏待会学习的人。 大家好，我是 yes。 今天我们来谈一谈消息队列的事务消息，一说起事务相信大家都不陌生，脑海里蹦出来的就是 ACID。 通常我们理解的事务就是为了一些更新操作要么都成功，要么都失败，不会有中间状态的产生，而 ACID 是一个严格的事务实现的定义，不过在单体系统时候一般都不会严格的遵循 ACID 的约束来实现事务，更别说分布式系统了。 分布式系统往往只能妥协到最终一致性 ，保证数据最终的完整性和一致性，主要原因就是实力不允许...因为可用性为王。 而且要保证完全版的事务实现代价很大，你想想要维护这么多系统的数据，不允许有中间状态数据可以被读取，所有的操作必须不可分割，这意味着一个事务的执行是阻塞的，资源是被长时间锁定的。 在高并发情况下资源被长时间的占用，就是致命的伤害，举一个有味道的例子，如厕高峰期，好了懂得都懂。 对了， ACID 是什么还不太清楚的同学，赶紧去查一查，这里我就不展开说了。 分布式事务 那说到分布式事务，常见的有 2PC、TCC 和事务消息，这篇文章重点就是事务消息，不过 2PC 和 TCC 我稍微提一下。 2PC 2PC 就是二阶段提交，分别有协调者和参与者两个角色，二阶段分别是准备阶段和提交阶段。 准备阶段就是协调者向各参与者发送准备命令，这个阶段参与者除了事务的提交啥都做了，而提交阶段就是协调者看看各个参与者准备阶段都 o

一、什么是bigkey 在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际上中如果下面两种情况，我就会认为它是bigkey。 字符串类型 ：它的big体现在单个value值很大，一般认为超过10KB就是bigkey。 非字符串类型 ：哈希、列表、集合、有序集合，它们的big体现在元素个数太多。 二、危害 bigkey可以说就是Redis的老鼠屎，具体表现在： 1.内存空间不均匀 这样会不利于集群对内存的统一管理，存在丢失数据的隐患。 2.超时阻塞 由于Redis单线程的特性，操作bigkey的通常比较耗时，也就意味着阻塞Redis可能性越大，这样会造成客户端阻塞或者引起故障切换，它们通常出现在慢查询中。 例如，在Redis发现了这样的key，你就等着DBA找你吧。 127 .0 .0 .1 :6379 > hlen big :hash(integer) 2000000127 .0 .0 .1 :6379 > hgetall big :hash 1) " a " 2) "1" 3.网络拥塞 bigkey也就意味着每次获取要产生的网络流量较大，假设一个bigkey为1MB，客户端每秒访问量为1000，那么每秒产生1000MB的流量，对于普通的千兆网卡(按照字节算是128MB/s

一说起事务相信大家都不陌生，脑海里蹦出来的就是 ACID。 通常我们理解的事务就是为了一些更新操作要么都成功，要么都失败，不会有中间状态的产生，而 ACID 是一个严格的事务实现的定义，不过在单体系统时候一般都不会严格的遵循 ACID 的约束来实现事务，更别说分布式系统了。 分布式系统往往只能妥协到最终一致性 ，保证数据最终的完整性和一致性，主要原因就是实力不允许...因为可用性为王。 而且要保证完全版的事务实现代价很大，你想想要维护这么多系统的数据，不允许有中间状态数据可以被读取，所有的操作必须不可分割，这意味着一个事务的执行是阻塞的，资源是被长时间锁定的。 在高并发情况下资源被长时间的占用，就是致命的伤害，举一个有味道的例子，如厕高峰期，好了懂得都懂。 对了， ACID 是什么还不太清楚的同学，赶紧去查一查，这里我就不展开说了。 分布式事务 那说到分布式事务，常见的有 2PC、TCC 和事务消息，这篇文章重点就是事务消息，不过 2PC 和 TCC 我稍微提一下。 2PC 2PC 就是二阶段提交，分别有协调者和参与者两个角色，二阶段分别是准备阶段和提交阶段。 准备阶段就是协调者向各参与者发送准备命令，这个阶段参与者除了事务的提交啥都做了，而提交阶段就是协调者看看各个参与者准备阶段都 o 不 ok，如果有 ok 那么就向各个参与者发送提交命令，如果有一个不 ok 那么就发送回滚命令

一、基础 　　 集合类，并发包，IO/NIO，JVM，内存模型，泛型，异常，反射，等有深入了解，最好是看过源码了解底层的设计。 二、需要全面的互联网主流技术相关知识 　　　　深入了解mysql，redis，mongodb，nginx，tomcat，rpc，jms等方面的知识。你要问需要了解到什么程度，我可以给你说个大慨。 　　　　首先对于MySQL，你要知道常见的参数设置，存储引擎怎么去选择，还需要了解常见的索引引擎，知道怎么去选择。知道怎么去设计表，怎么优化sql，怎么根 据执行计划去调优。 　　　　 高级的你需要去做分库分表的设计和优化，一般互联网企业的数据库都是读写分离，还会垂直与水平拆分，所以这个也有经验的成分在里面。然后redis， 　　mongodb都是需要了解原理，需要会调整参数的，而nginx和tomcat几乎都是JAVA互联网方面必配，其实很阿里的技术栈选择有点关系。 　　　　至于rpc相关的就多的去，必须各种网络协议，序列化技术，SOA等等，你要有一个深入的理解。现在应用比较广的rpc框架，在国内就是dubbo了，可以自行搜 　　索。至于jms相关的起码得了解原理吧，一般情况下不是专门开发中间件系统和支撑系统的不需要了解太多细节，国内企业常用的主要是activeMQ和kafka。 第三、编程能力，编程思想，算法和架构能力 　　　　

Websocket应用协议已经普及多年了，它是HTTP1.1的内部升级协议，主要作用是补充HTTP1.1无法灵活地主动推送消息给客户端的缺陷问题。在这里主要介绍一下使用组件如何扩展一个完整的Websocket协议。 协议介绍 Websocket并不复杂，但协议文档内容还是很全面的，以下是协议原文 https://tools.ietf.org/html/rfc6455。其实一个简单的图可以看出Websocket协议结构。 在这里主要介绍组件是如何实现的就不详细介绍内容了。 存储顺序 在协议中有一个地方需要关注存储顺序，那就是消息长度描述。不同语言平台对于基础值类型的存储顺序都不一样分别是：大端和小端。这个协议使用的是大端存储顺序，但.NET则是使用小端存储顺序；所以使用组件解Weboskcet协议前要更改一下流读写的存储顺序。 IServer.Options.LittleEndian = false; 组件可以通过配置来统一更改网络流针对大小端读写配置，应用中也可以默认用小端读出来后再移位转换也是可以。 分析状态 虽然Websocket已经有协议描述，但在分析过程中还是需要一些状态来处理。在TCP流中无法知道当前buffer里的情况，有可能不到一个消息帧，或存在多个消息帧；更有可能当前流的尾部可能只两个字节内容的playload len 127的情况；为了应对存在不同状态的网络流

　 大数据就业 前景如何？现在 学习大数据 已经晚了吗？作为初入社会的大学生，或者想改变环境转行的同学，看到大数据技术开发者的高薪资都想进入这个行业，但是现在大数据技术依然想之前那样火爆吗？是不是学习了大数据技术就可以获得高薪呢？ 　　大数据从最开始的概念兴起，到现在各大互联网公司逐步推广使用。已经逐渐成熟，目前营销、电商、教育领域等等对大数据的应用已经初见效果。大数据也从最开始的概念过渡到实际应用领域。对技术人员的招聘也更加趋于理性。所以并非大数据技术不再火爆，而是企业对于大数据从业人员的要求提高了。 　　根据招聘网站显示，目前大数据工作招聘需求，薪资普遍稳定在15-30K之间。其中目前刚入行的大数据工程师平均薪资在1万左右，而随着工作时间的增加，3~5年经验的大数据工程师的薪资待遇将达到3万元左右。 　　据相关机构统计，未来的3~5内大数据人才的缺口将达到150万，而且随着大数据的发展，人才缺口将不断扩大，所以大数据不管是目前还是未来长期都将是紧缺人才，受到各大互联网企业的关注。 　　如果你想投入大数据的怀抱，但却苦于不知如何下手。而当你准备学习大数据技术时，你可以了解一下博斌去计算大数据课程，主要是针对有一定编程开发经验的学员研发的课程。从大数据基础增强开始，内容精准聚焦大数据开发过程中必备的离线数据分析、实时数据分析和内存数据计算等重要内容

场景 公司有块业务需要跑定时业务，来处理数据，后台采用 springBoot 开发的， springBoot 集成定时任务还是挺简单的，使用 Scheduled 配置好 cron 就可以使用了，有个业务是每个小时的45分钟执行一次，因为后台是集群部署的，前端用 Nginx 做的负责均衡，就牵扯到一个问题，同一时刻，后台的定时任务只能用一个触发，最开始采用的 redis 做分布式锁，客户端是使用的 Jedis ，实现的分布式锁，网上基于 redis 实现分布式锁的文章太多了，这里就不再阐述了 基于 Jedis 实现分布式锁的初始代码如下 package com.juyi.camera.cache; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.RedisCallback; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.stereotype.Component; import redis.clients.jedis.Jedis;

不想当将军的兵不是好兵，就程序猿不想当架构师就不是好的程序员！ Java架构师主要需要做哪些工作呢？ 1、负责设计和搭建软件系统架构（平台、数据库、接口和应用架构等），解决开发中各种系统架构问题。 2、优化现有系统的性能，解决软件系统平台关键技术问题攻关、核心功能模块设计、核心代码开发。 3、在项目需求不断细化的工程中校正整体的架构设计，以及详细模块拆分设计。 4、营造技术学习氛围，带领团队不断完善开发开发方法及流程，提升开发效率与质量，加强技术标准及规范。 5、带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关。 6、责任心强，有团队合作精神，工作认真负责高效并具有一定抗压能力。 7、参与讨论公司产品发展方向，完整的规划和把握产品研发架构。 Java架构师要学习哪些知识呢？ 希望以下的学习路线能对你有帮助 并发编程 JAVA内存模型（JMM） java当中的线程通讯和消息传递 什么是重排序和顺序一致性？Happens-Before？As-If-Serial？ Synchronized的概念和分析 同步、重量级锁以及Synchronized的原理分析 自旋锁、偏向锁、轻量级锁、重量级锁的概念、使用以及如何来优化他们 Volatile和DCL的知识 Volatile的使用场景和Volatile实现机制、内存语义、内存模型 DCL的单例模式，什么是DCL

复制和故障转移 Redis集群中的节点分为主节点（master）和从节点（slave），其中主节点用于处理槽，而从节点则用于复制某个主节点，并在被复制 的主节点下线时，代替下线主节点继续处理命令请求。 设置从节点：CLUSTER REPLICATE < node_id >可以让接收命令的节点称为node_id 所指定节点的从节点，并开始对主节点进行复制。 1）接收到该命令的节点首先会在自己的clusterState.nodes字典中找到node_id所对应节点的clusterNode结构，并将自己的clusterState.myself.slaveof指针指向这个结构，以此来记录这个节点正在复制的主节点： struct clusterNode{ // 如果这个时一个从节点，那么指向主节点 struct clusterNode * slaveof; } 2）节点修改自己的clusterState.myself.flags中的属性，关闭原本的REDIS_NODE_MASTER标识，打开REDIS_NODE_SLAVE标识，标识这个节点已经由原来的主节点变成了从节点。 3）节点会调用复制代码，根据clusterState.myself.slaveof指向clusterNode结构所保存的IP地址和端口号，对节点进行复制。 一个节点称为从节点