信号量

原文: http://blog.gqylpy.com/gqy/229 " 一、锁机制: multiprocess.Lock 上篇博客中，我们 千方百计 实现了程序的异步，让多个任务同时在几个进程中并发处理，但它们之间的运行没有顺序。尽管并发编程让我们能更加充分的利用io资源，但是也给我我们带来了新问题， 多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题. 例： # 多进程抢占输出资源 from multiprocessing import Processfrom os import getpidfrom time import sleepfrom random import random def work(i): print("%s: %s is running" %(i, getpid())) sleep(random()) print("%s: %s is done" %(i, getpid())) if __name__ == '__main__': for i in range(5): p = Process(target=work, args=(i,)) p.start() 使用互斥锁维护执行顺序： # 使用锁机制维护执行顺序 from multiprocessing import Process, Lockfrom os import

多任务编程 意义:充分利用计算机CPU的多和资源,同时处理多个应用程序任务,一次提高程序的运行效率. 实现方案:多进程,多线程 进程(process) 进程理论基础 定义:程序在计算机中的一次运行. 程序是一个可执行的文件,是静态的战友磁盘. 进程是一个动态的过程描述,占有计算机运行资源,有一定的生命周期 系统中如何产生一个进程 用户空间通过调用程序接口或者命令发起请求 操作系统接受用户请求,开始创建进程 操作系统调配计算机资源,确定进程状态等 操作系统将创建的进程提供给用户使用 进程基本概念 CPU时间片:如果一个进程占有CPU内核则称这个进程在cpu时间片上. PCB(进程控制块):在内存中开辟的一块空间,用于存放进程的基本信息,也用于系统查找识别进程 进程ID(PID):系统为每个进程分配的一个大于0的整数,作为进程ID.每个ID不重复 　　　　Linux查看进程ID:ps - aux 父子进程:系统中每一个进程(除了系统初始化进程)都有唯一的父进程,可以有0个或者多个子进程.父子进程关系便于进程管理 　　　　查看进程树: pstree 进程状态 三态 就绪态:进程具备执行条件,等待分配CPU资源 运行态:进程占有CPU时间片正在运行 等待态:进程暂时停止运行,让出CPU 五态(在三态基础上增加新建和终止) 新建: 创建一个进程,获取资源过程 终止:进程结束,释放资源过程

package cn.edu.sysu; import java.util.ArrayList; import java.util.concurrent.Semaphore; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLock; class ObjectQueue{ private final int size=10; private final Semaphore notEmpty=new Semaphore(0); private final Semaphore notFull=new Semaphore(size); private ArrayList<Integer> ints=new ArrayList<Integer>(); private Lock lock=new ReentrantLock(); public ObjectQueue(){} public void putItem(Integer i){ try { notFull.acquire(); lock.lock(); ints.add(i); notEmpty.release(); } catch (Exception e) { System.out.println(

原文: http://blog.gqylpy.com/gqy/229 " 一、锁机制: multiprocess.Lock 上篇博客中，我们 千方百计 实现了程序的异步，让多个任务同时在几个进程中并发处理，但它们之间的运行没有顺序。尽管并发编程让我们能更加充分的利用io资源，但是也给我我们带来了新问题， 多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题. 例： # 多进程抢占输出资源 from multiprocessing import Processfrom os import getpidfrom time import sleepfrom random import random def work(i): print("%s: %s is running" %(i, getpid())) sleep(random()) print("%s: %s is done" %(i, getpid())) if __name__ == '__main__': for i in range(5): p = Process(target=work, args=(i,)) p.start() 使用互斥锁维护执行顺序： # 使用锁机制维护执行顺序 from multiprocessing import Process, Lockfrom os import

原文: http://blog.gqylpy.com/gqy/229 " 一、锁机制: multiprocess.Lock 上篇博客中，我们 千方百计 实现了程序的异步，让多个任务同时在几个进程中并发处理，但它们之间的运行没有顺序。尽管并发编程让我们能更加充分的利用io资源，但是也给我我们带来了新问题， 多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题. 例： # 多进程抢占输出资源 from multiprocessing import Processfrom os import getpidfrom time import sleepfrom random import random def work(i): print("%s: %s is running" %(i, getpid())) sleep(random()) print("%s: %s is done" %(i, getpid())) if __name__ == '__main__': for i in range(5): p = Process(target=work, args=(i,)) p.start() 使用互斥锁维护执行顺序： # 使用锁机制维护执行顺序 from multiprocessing import Process, Lockfrom os import

原文: http://blog.gqylpy.com/gqy/229 " 一、锁机制: multiprocess.Lock 上篇博客中，我们 千方百计 实现了程序的异步，让多个任务同时在几个进程中并发处理，但它们之间的运行没有顺序。尽管并发编程让我们能更加充分的利用io资源，但是也给我我们带来了新问题， 多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题. 例： # 多进程抢占输出资源 from multiprocessing import Processfrom os import getpidfrom time import sleepfrom random import random def work(i): print("%s: %s is running" %(i, getpid())) sleep(random()) print("%s: %s is done" %(i, getpid())) if __name__ == '__main__': for i in range(5): p = Process(target=work, args=(i,)) p.start() 使用互斥锁维护执行顺序： # 使用锁机制维护执行顺序 from multiprocessing import Process, Lockfrom os import

1 package com.ccp.Lc0815; 2 3 import java.util.concurrent.Semaphore; 4 5 public class Test { 6 public static void main(String[] args) { 7 //定义一个信号量对象 8 Semaphore s = new Semaphore(1); 9 //同时启动5个线程 10 11 new TestSamaphone("吃货" + 0, s).start(); 12 new TestSamaphone("吃货" + 1, s).start(); 13 new TestSamaphone("吃货" + 2, s).start(); 14 new TestSamaphone("吃货" + 3, s).start(); 15 new TestSamaphone("吃货" + 4, s).start(); 16 17 18 } 19 } 1 package com.ccp.Lc0815; 2 3 import java.util.concurrent.Semaphore; 4 //private Semaphore s ;//信号 5 //s.availablePermits() > 0 返回此信号量中当前可用的许可数。此方法通常用于调试和测试目的。 6 //s

Hystrix原理与实战 背景 分布式系统环境下，服务间类似依赖非常常见，一个业务调用通常依赖多个基础服务。 比如：订单服务调用商品服务，商品服务调用库存服务。 对于同步调用，当库存服务不可用时，商品服务请求线程被阻塞，当有大批量请求调用库存服务时，最终可能导致整个商品服务资源耗尽，无法继续对外提供服务。并且这种不可用可能沿请求调用链向上传递，这种现象被称为雪崩效应。 初探Hystrix Hystrix [hɪst'rɪks]，中文含义是豪猪，因其背上长满棘刺，从而拥有了自我保护的能力。本文所说的Hystrix是Netflix开源的一款容错框架，同样具有自我保护能力。为了实现容错和自我保护，下面我们看看Hystrix如何设计和实现的。 Hystrix设计目标： 对来自依赖的延迟和故障进行防护和控制——这些依赖通常都是通过网络访问的 阻止故障的连锁反应 快速失败并迅速恢复 回退并优雅降级 提供近实时的监控与告警 Hystrix遵循的设计原则： 防止任何单独的依赖耗尽资源（线程） 过载立即切断并快速失败，防止排队 尽可能提供回退以保护用户免受故障 使用隔离技术（例如隔板，泳道和断路器模式）来限制任何一个依赖的影响 通过近实时的指标，监控和告警，确保故障被及时发现 通过动态修改配置属性，确保故障及时恢复 防止整个依赖客户端执行失败，而不仅仅是网络通信 Hystrix如何实现这些设计目标？

# 信号量可能在不同的领域中 对应不同的知识点 """ 互斥锁:一个厕所(一个坑位) 信号量:公共厕所(多个坑位) """ from threading import Semaphore,Thread import time import random sm = Semaphore(5) # 造了一个含有五个的坑位的公共厕所 def task(name): sm.acquire() print('%s占了一个坑位'%name) time.sleep(random.randint(1,3)) sm.release() for i in range(40): t = Thread(target=task,args=(i,)) t.start() 来源： https://www.cnblogs.com/wkq0220/p/11354498.html

GIL全局解释器锁 官方解释: In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly because CPython’s memory management is not thread-safe. 大译:python解释器有很多种 最常见的就是Cpython解释器GIL本质也是一把互斥锁:将并发变成串行牺牲效率保证数据的安全 用来阻止同一个进程下的多个线程的同时执行(同一个进程内多个线程无法实现并行但是可以实现并发)GIL的存在是因为CPython解释器的内存管理不是线程安全的,这种不安全是来自于垃圾回收机制,每个进程下都会有一个内存管理线程 在一个python的进程内,不仅有test.py的主线程或者由该主线程开发的其他线程,还有解释器开启的来及回收等解释器级别的线程,总之,所有线程都运行在这一个进程内. 所有线程的任务,都需要将代码传给解释器去执行,所以首先要解决的是能够访问到解释器代码 如果多个线程的target = work name执行流程是: 多个线程先访问到解释器的代码,即拿到执行权限