Redis

在移动互联网时代掉队的.NET，当下正凭借着.NET5的开源跨平台以及容器友好，在云原生时代正在重铸辉煌。而作为.NET开发者，新年跳槽季的高并发问题会更多了，因为高并发能牵扯出太多问题，接口响应超时、CPU负载升高、GC频繁、死锁、大数据量存储等，最能考察求职者的真实情况。千万并发级的.NET5项目，是怎样炼成的？ 理解高并发 公认的高并发场景：双11、春运抢票、微博大V热点新闻、秒杀系统、日均千万级订单系统、亿级日活信息流，然而这些高并发场景，并发量各不相同，那到底多大并发才算高并发呢？ 而很多人在这里就倒下了，因为对数据化的指标没有概念：不清楚选择什么样的指标来衡量高并发系统？分不清并发量和QPS，甚至不知道自己系统的总用户量、活跃用户量，平峰和高峰时的QPS和TPS等关键数据，谈优化只是隔靴搔痒。 高并发的目标 高并发就是高性能？其实不然， 高并发系统设计的目标有三个：高性能、高可用，以及高可扩展。 高性能 性能体现了系统的并行处理能力，在有限的硬件投入下，提高性能意味着节省成本。优化用户的体验，响应时间分别是100毫秒、1秒、3秒，给用户的感受是完全不同的。 高可用 表示系统可以正常服务的时间。对于高并发系统，最基本的要求能做到3个9以上，像一些大公司每年动辄千亿以上的GMV，1%(2个9)不可服务就是10亿级别的业务影响。 高扩展 表示系统的扩展能力

今天给 PHP 程序员们推荐几本 PHP 进阶好书， PHP程序员 们不要以为自己现在已经工作就放弃了一个上进的心，现在互联网发展这么快，小心长江后浪推前浪，前浪死在沙滩上哦。。。 · 《UNIX网络编程卷1（第3版）》 · 《UNIX网络编程卷2（第2版）》 · 《UNIX环境高级编程（第3版）》 · 《UNIX编程艺术》 · 《MySQL技术内幕（第5版）》 · 《深入理解计算机系统》 · 《用TCP/IP进行网际互联》 · 《高性能MySQL（第3版）》 · 《HTTP权威指南》 · 《Linux程序设计（第4版）》 · 《鸟哥的Linux私房菜基础学习篇（第3版）》 · 《计算机程序设计艺术基本算法卷1（第3版）》 · 《Web前端黑客技术揭秘》余弦著 · 《说话的魅力》刘墉著 · 《RESTful Web APIs中文版》 · 《大话数据结构》 · 《构建高性能Web站点(修订版)》 · 《SQL注入攻击与防御(第2版)》 · 《利用Python进行数据分析》 · 《数据结构与算法分析:C语言描述(原书第2版)》 · 《TCP/IP详解卷1:协议》 · 《NoSQL数据库入门》 · 《Web性能权威指南》 · 《计算机科学丛书:深入理解计算机系统(原书第2版) 》 · 《MongoDb权威指南（第2版）》 · 《黑客攻防技术宝典:Web实战篇(第2版）》 ·

点击 蓝字关注 ，回复“ 职场进阶 ”获取职场进阶精品资料一份 几周前，微盟爆了个大雷，数据库让内部员工删库跑路。写了篇文章，做了一些我的判断： 从微盟36小时故障，谈谈数据安全这点事 。 很明显，微盟的技术体系是有严重问题的， 主要体现在：运维权限管理、数据库备份、上云而不上云方案，这三点。看起来有点耸人听闻，其实你永远不知道一个人或者一家公司的技术会低到什么程度，不少人可能从来都没用过GitHub和GitLab。 程序员这个行业，是一个区隔度特别高的行业。 不少人短短几年就可以成长为高级工程师、资深架构师、首席架构师，而另外一部分人很可能工作10年还是初中级工程师。 程序员行业还有一个特点，优秀程序员的产出是普通程序员的好多倍，甚至是10倍！ 这是因为编程不是一门「线性科学」，而是一门「非线性科学」。 「线性科学」，比如跑步的速度就是，世界冠军的速度也不可能是普通人的10倍。「非线性科学」是指很多种因素交汇在一起，极大增加了系统的复杂度。 程序设计和实现不是一种线性能力，像经验、编码能力、工程能力、知识、学习新知识的能力、对无用部分的识别等这些就不仅仅是线性优势，汇聚到一起会对编程产生倍增级效应。 优秀的程序员能达到百万年薪，而入门级或者初中级程序员可能只能拿10万年薪。输出的10倍差距带来的是收入上的10倍差距！ 很多时候，遇见复杂系统问题，派多少个初中级工程师都于事无补

安装redis出现cc adlist.o /bin/sh:1:cc:not found的解决方法 参考文章： （1）安装redis出现cc adlist.o /bin/sh:1:cc:not found的解决方法 （2）https://www.cnblogs.com/shizhijie/p/10005682.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4278528/blog/4924802

分布式锁 概念 任何一个系统都无法同时满足一致性(Consistency),可用性(Availability),分区容错性(Partition tolerance), 只能同时满足2个; 分布式锁就是为了解决数据一致性问题. 悲观锁和乐观锁 悲观锁: 总是假设最坏的情况,每次去拿数据的时候都认为别人会修改,所以每次拿数据都会上锁,这样别人想拿这个数据就会阻塞,知道锁被释放 悲观锁多用于多写场景,关系型数据库中很多使用了这种悲观锁机制 实现: redis 实现锁机制 乐观锁 总是假设最好的情况,即每次去拿数据的时候都认为别的线程不会去修改,所以不会上锁,但是在更新数据的时候会判断在此期间有没有其它线程更新了这个数据,可以用版本号机制和CAS算法来实现; 乐观锁多用户多读场景,提高吞吐量,比如数据库提供的write_condition机制 实现: 数据库添加版本号字段: 一般是在数据表中加上一个数据版本号version字段，表示数据被修改的次数，当数据被修改时，version值会加1。当线程A要更新数据值时，在读取数据的同时也会读取version值，在提交更新时，若刚才读取到的version值为当前数据库中的version值相等时才更新，否则重试更新操作，直到更新成功。 CAS 算法 应用场景 涉及到多个实例进程操作同一份数据时就需要用到锁机制,比如: 下单,修改库存,更新缓存等

麻烦大家帮我 投一票 哈，谢谢 什么是分布式锁 针对共享内存模型的程序（例如JAVA程序），锁就是一个非常常用的机制。 一般简单分为悲观锁和乐观锁。悲观锁就是你获取这块数据的锁之后，别人就无法访问或操作这块数据，直到你释放这个锁。乐观锁一般就是CAS更新。 在单进程内内存的锁，只控制进程内数据的，就是非分布式锁。相反的，跨进程，需要锁住多个进程访问数据的锁就是分布式锁。 悲观锁一般由Redis的 SETNXEX 实现，Key 为资源名，EX 设置一个合理的超时时间， Value 设置为一个客户端生成的在超时时间内不会重复的随机字符串。 lua脚本特性说明 由于redis是单线程的，执行lua脚本的时候，不会同时执行其他客户端命令，这一定程度上保证了并发安全 单进程Redis分布式悲观锁实现思路 悲观锁一般由Redis的 SETNX 实现，通过 SETNX 获取一个锁，释放锁就把这个Key删除即可。 例如，获取一个名为TestLock的锁，通过 SETNX TestLock TestLockValue ，TestLockValue随意设置一个值。 SETNX 是SET IF NOT EXISTS，如果不存在就会设置成功。 设置成功会返回1，没设置成功会返回0。返回1代表获取锁成功，0代表没获取成功。 释放锁调用 DEL 命令，通过 DEL TestLock 释放锁

1. scrapy 安装 框架：就是一个具有很强通用行且已经集成了很多功能的项目模板 如何去学习一个框架： 学习框架封装好的各种功能 了解每一个功能的特性和优劣 scrapy 高性能的数据解析 高性能的持久化存储 中间件 分布式 异步的数据下载(基于twisted实现) pyspider 环境安装 Linux：pip install scrapy windows: pip install wheel 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 进入下载目录，执行 pip install Twisted-17.1.0-cp36-cp36m-win_amd64.whl pip install pywin32 pip install scrapy 2. 基本使用 创建一个工程： scrapy stratproject PRONAME cd PRONAME 在爬虫文件夹(spiders)中创建一个爬虫文件： scrapy genspdier spiderName www.xxx.com 配置文件： 进行UA伪装 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100

Redis热点Key发现及常见解决方案！ 参考文章： （1）Redis热点Key发现及常见解决方案！ （2）https://www.cnblogs.com/dz11/p/10315184.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4437974/blog/4924356