python多线程

Python多线程编程(一）：threading 模块 Thread 类的用法详解 我们进行程序开发的时候，肯定避免不了要处理并发的情况。 一般并发的手段有采用多进程和多线程。 但线程比进程更轻量化，系统开销一般也更低，所以大家更倾向于用多线程的方式处理并发的情况。 Python 提供多线程编程的方式。 本文基于 Python3 讲解,Python 实现多线程编程需要借助于 threading 模块。 所以，我们要在代码中引用它。 import threading threading 模块中最核心的内容是 Thread 这个类。 我们要创建 Thread 对象,然后让它们运行，每个 Thread 对象代表一个线程，在每个线程中我们可以让程序处理不同的任务，这就是多线程编程。 值得注意的是，程序运行时默认就是在主线程上 创建 Thread 对象有 2 种手段。 直接创建 Thread ，将一个 callable 对象从类的构造器传递进去，这个 callable 就是回调函数，用来处理任务。 编写一个自定义类继承 Thread，然后复写 run() 方法，在 run() 方法中编写任务处理代码，然后创建这个 Thread 的子类。 1. 直接创建 Thread 对象。 class threading . Thread ( group = None , target = None ,

电话面试被问到go的协程，曾经的军伟也问到过我协程。虽然用python时候在Eurasia和eventlet里了解过协程，但自己对协程的概念也就是轻量级线程，还有一个很通俗的红绿灯说法：线程要守规则，协程看到红灯但是没有车仍可以通行。现在总结各个资料，从个人理解上说明下 进程 线程 轻量级进程 协程 go中的goroutine 那些事儿。 一、进程 操作系统中最核心的概念是进程，分布式系统中最重要的问题是进程间通信。 进程 是“程序执行的一个实例” ，担当分配系统资源的实体。进程创建必须分配一个完整的独立地址空间。 进程切换 只发生在内核态，两步：1 切换页全局目录以安装一个新的地址空间 2 切换内核态堆栈和硬件上下文。 另一种说法类似：1 保存CPU环境（寄存器值、程序计数器、堆栈指针）2修改内存管理单元MMU的寄存器 3 转换后备缓冲器TLB中的地址转换缓存内容标记为无效。 二、线程 书中的定义：线程是进程的一个执行流，独立执行它自己的程序代码。 维基百科： 线程 （ 英语 ： thread ）是 操作系统 能够进行运算 调度 的最小单位。 线程上下文一般只包含CPU上下文及其他的线程管理信息。线程创建的开销主要取决于为线程堆栈的建立而分配内存的开销，这些开销并不大。线程上下文切换发生在两个线程需要同步的时候，比如进入共享数据段。切换只CPU寄存器值需要存储

我们可以在计算机上运行各种计算机软件程序。每一个运行的程序可能包括多个独立运行的线程（Thread）。 线程（Thread）是一份独立运行的程序，有自己专用的运行栈。线程有可能和其他线程共享一些资源，比如，内存，文件，数据库等。 当多个线程同时读写同一份共享资源的时候，可能会引起冲突。这时候，我们需要引入线程“同步”机制，即各位线程之间要有个先来后到，不能一窝蜂挤上去抢作一团。 同步这个词是从英文synchronize（使同时发生）翻译过来的。我也不明白为什么要用这个很容易引起误解的词。既然大家都这么用，咱们也就只好这么将就。 线程同步的真实意思和字面意思恰好相反。线程同步的真实意思，其实是“排队”：几个线程之间要排队，一个一个对共享资源进行操作，而不是同时进行操作。 因此，关于线程同步，需要牢牢记住的第一点是：线程同步就是线程排队。同步就是排队。线程同步的目的就是避免线程“同步”执行。这可真是个无聊的绕口令。 关于线程同步，需要牢牢记住的第二点是 “共享”这两个字。只有共享资源的读写访问才需要同步。如果不是共享资源，那么就根本没有同步的必要。 关于线程同步，需要牢牢记住的第三点是，只有“变量”才需要同步访问。如果共享的资源是固定不变的，那么就相当于“常量”，线程同时读取常量也不需要同步。至少一个线程修改共享资源，这样的情况下，线程之间就需要同步。 关于线程同步

原文： http://www.cnblogs.com/shenguanpu/archive/2013/05/05/3060616.html 电话面试被问到go的协程，曾经的军伟也问到过我协程。虽然用python时候在Eurasia和eventlet里了解过协程，但自己对协程的概念也就是轻量级线程，还有一个很通俗的红绿灯说法：线程要守规则，协程看到红灯但是没有车仍可以通行。现在总结各个资料，从个人理解上说明下 进程 线程 轻量级进程 协程 go中的goroutine 那些事儿。 一、进程 操作系统中最核心的概念是进程，分布式系统中最重要的问题是进程间通信。 进程 是“程序执行的一个实例” ，担当分配系统资源的实体。进程创建必须分配一个完整的独立地址空间。 进程切换 只发生在内核态，两步：1 切换页全局目录以安装一个新的地址空间 2 切换内核态堆栈和硬件上下文。 另一种说法类似：1 保存CPU环境（寄存器值、程序计数器、堆栈指针）2修改内存管理单元MMU的寄存器 3 转换后备缓冲器TLB中的地址转换缓存内容标记为无效。 二、线程 书中的定义：线程是进程的一个执行流，独立执行它自己的程序代码。 维基百科： 线程 （ 英语 ： thread ）是 操作系统 能够进行运算 调度 的最小单位。 线程上下文一般只包含CPU上下文及其他的线程管理信息

其实从一开始了解到go的goroutine概念就应该想到，其实go应该就是在内核级线程的基础上做了一层逻辑上的虚拟线程（用户级线程）+ 线程调度系统，如此分析以后，goroutine也就不再那么神秘了。 并发≠并行 假如我们有一段CPU密集型任务，我们创建2000个gorountine是否真的可以将其性能提高2000倍，答案必然是不能，因为我们只是进行了2000次的并发（concurrency），而并没有真正做到并行（parallelism）。 并发其实所指的是我们的程序执行逻辑，传统单线程应用的程序逻辑是顺序执行的，在任何时刻，程序只能处理同一个逻辑，而并发指的是，我们同时执行多个独立的程序逻辑，若干个程序逻辑在执行时可以是同时进行的（但并不代表同时进行处理）。实际上，不论我们并发多少个程序逻辑，若我们仅仅将其运行在一个单核单线程的CPU上，都不能让你的程序在性能上有所提升，因为最终所有任务都排队等待CPU资源（时间片）。 而并行才能让我们的程序真正的同时处理多个任务，但并行并不是编程语言能够带我们的特性，他需要硬件支持。上面说到单核CPU所有资源都要等待同一个CPU的资源，那么其实我们只要将CPU增多就能真正的让我们实现并行。我们可以使用多核CPU或用多台服务器组成服务集群，均可实现真正的并行，能够并行处理的任务数量也就是我们的CPU数量。 引用Rob Pikie大神在PPT《

1. 安装GDB增强工具 (gef) 　　* GDB的版本大于7.7 　　* wget -q -O- https://github.com/hugsy/gef/raw/master/scripts/gef.sh | sh 　　* 确保网络连通 并且成功更新ubuntu (更新source.list 使用apt-get update) 2. GDB安装插件(在root权限安装,用户权限使用不了需要在用户权限下安装) 　　git clone https://github.com/gatieme/GdbPlugins.git ~/GdbPlugins　　(安装gdb的Python脚本插件) 　　切换gdb模式 : 　　echo "source ~/GdbPlugins/peda/peda.py" > ~/.gdbinit　　　　(默认打开gdb插件是pada)　　倾向于破解和逆向 　　echo "source ~/GdbPlugins/gef/gef.py" > ~/.gdbinit　　　　　　倾向于debug 逆向 　　echo "source ~/GdbPlugins/gdbinit/gdbinit" > ~/.gdbinit　　　　个人定制 3.Linux程序发布流程 　　* 确定程序是否存在符号表 　　　　readelf -s test-1 　　* 生成符号表 　　　

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 现代操作系统比如Mac OS X，UNIX，Linux，Windows等，都是支持“多任务”的操作系统。 什么叫“多任务”呢？简单地说，就是操作系统可以同时运行多个任务。打个比方，你一边在用浏览器上网，一边在听MP3，一边在用Word赶作业，这就是多任务，至少同时有3个任务正在运行。还有很多任务悄悄地在后台同时运行着，只是桌面上没有显示而已。 现在，多核CPU已经非常普及了，但是，即使过去的单核CPU，也可以执行多任务。由于CPU执行代码都是顺序执行的，那么，单核CPU是怎么执行多任务的呢？ 操作系统轮流让各个任务交替执行，任务1执行0.01秒，切换到任务2，任务2执行0.01秒，再切换到任务3，执行0.01秒……这样反复执行下去。表面上看，每个任务都是交替执行的，但是，由于CPU的执行速度实在是太快了，我们感觉就像所有任务都在同时执行一样。 真正的并行执行多任务只能在多核CPU上实现，但是，由于任务数量远远多于CPU的核心数量，所以，操作系统也会自动把很多任务轮流调度到每个核心上执行。 对于操作系统来说，一个任务就是一个进程（Process），比如打开一个浏览器就是启动一个浏览器进程，打开一个记事本就启动了一个记事本进程，打开两个记事本就启动了两个记事本进程，打开一个Word就启动了一个Word进程。

目录 Linux多线程服务器端编程 线程安全的对象生命期管理 对象的销毁线程比较难 线程同步精要 借shared_ptr实现写时拷贝(copy-on-write) 多线程服务器的适用场合与常用编程模型 单线程服务器的常用编程模型 多线程服务器的常用编程模型 分布式系统中使用TCP长连接通信 C++多线程系统编程精要 高效的多线程日志 日志功能的需求 多线程异步日志 muduo网络库简介 TCP网络编程最本质的是处理三个半事件: 在一个端口上提供服务，并且要发挥多核处理器的计算能力 muduo编程示例 一种自动反射消息类型的Google Protobuf网络传输方案 短址服务 muduo库设计与实现 分布式系统工程实践 C++编译链接模型精要 Linux多线程服务器端编程 源码链接 。 muduo的编译安装 . 陈硕的编译教程 。 bazel编译文件不能有中文路径。 安装到指定目录: /usrdata/usingdata/studying-coding/server-development/server-muduo/build/release-install-cpp11/lib/libmuduo_base.a. 这本书前前后后看了三四遍，写得非常有深度，值得推荐。 编译和安装 . 线程安全的对象生命期管理 利用shared_ptr和weak_ptr避免对象析构时存在的竞争条件

当数据库数据量很大时（百万级），许多批量数据修改请求的响应会非常慢，一些不需要即时响应的任务可以放到后台的异步线程中完成，发起异步任务的请求就可以立即响应 选择用线程池的原因是：线程比进程更为可控。不像子进程，子线程会在所属进程结束时立即结束。线程可共享内存。 请求任务异步处理的原理 使用python manage.py runserver模式启动的Django应用只有一个进程，对于每个请求，主线程会开启一个子线程来处理请求。请求子线程向主线程申请一个新线程，然后把耗时的任务交给新线程，自身立即响应，这就是请求任务异步处理的原理。 可视化线程池 如果想要管理这批异步线程，知道他们是否在运行中，可以使用线程池（ThreadPoolExecutor）。 线程池会先启动若干数量的线程，并让这些线程都处于睡眠状态，当向线程池submit一个任务后，会唤醒线程池中的某一个睡眠线程，让它来处理这个任务，当处理完这个任务，线程又处于睡眠状态。 submit任务后会返回一个期程（future），这个对象可以查看线程池中执行此任务的线程是否仍在处理中 因此可以构建一个全局可视化线程池： from concurrent.futures.thread import ThreadPoolExecutor class ThreadPool(object): def init (self): # 线程池

基本指令&&添加线程 import threading def thread_job ( ) : print ( 'This is an added thread,number is %s\n' % threading . current_thread ( ) ) def main ( ) : added_threading = threading . Thread ( target = thread_job ) #创建了一个线程，target=这个线程是用来做什么的 added_threading . start ( ) #创建完之后需要start，执行这个线程 print ( threading . active_count ( ) ) #显示当前的线程数 print ( threading . enumerate ( ) ) #看一下是哪几个线程 print ( threading . current_thread ( ) ) #看一下现在程序运行的哪一个线程 if __name__ == '__main__' : main ( ) 运行结果 This is an added thread , number is < Thread ( Thread - 9 , started 28508 ) > 5 [ < _MainThread ( MainThread , started